W 1512 od sióstr Andrzeja Borka Osieckiego część dóbr osieckich odkupił Łukasz II Górka; natomiast inna część dóbr i miasta została darowana jego synowi, Andrzejowi I Górce. Mimo że nie była to główna rezydencja Górków, w rękach tej rodziny zamek pozostawał do 1592 roku.
XVII - XVIII wiek thumb|left|335x335px|Manierystyczny portal z 1600 roku
W 1592 roku zmarł wojewoda Stanisław Górka, ostatni z rodu, w związku z czym zamek odziedziczył jego siostrzeniec kasztelan Andrzej Czarnkowski i rozbudował go około 1601 roku. Z tego okresu zachowała się tzw. sala rycerska (jadalna) nakryta sklepieniem kolebkowo-krzyżowym. Neorenesansowe wsporniki w tej sali pochodzą jednak z czasów przebudowy z lat 1890–1908. Na ścianach imitacja kurdybanu. Sala umeblowana jest meblami gdańskimi.
Najbardziej charakterystycznym elementem wystroju zewnętrznego z tego okresu jest pochodzący z 1600 manierystyczny portal zwieńczony kartuszem z herbem Czarnkowskich-Nałęcz i literami AC (Andrzej Czarnkowski). Niżej groteska z motywami roślinnymi, mitologicznymi i zwierzęcymi, w narożnikach dwa geniusze z rogami obfitości, pośrodku, pomiędzy nimi, zwornik z maszkaronem. W sklepieniu drzwi znajdują się kasetony.