Pod koniec XVI wieku zamek został rozbudowany i umocniony poprzez budowę w północno-wschodnim boku podzamcza, bliżej narożnika zwróconego ku rzece, oktagonalną wieżę, określoną przez Bohdana Guerquina jako basteja.
Zamek broniony w 1626 przez starostę Sapiehę przed Szwedami nie posiadał już niezbędnych walorów obronnych, w związku z czym został zdobyty. W kwietniu 1627 roku pod zamkiem wojska polskie stoczyły zwycięską bitwę z wojskami szwedzkimi, w związku z czym zamek ponownie został obsadzony przez polską załogę. thumb|250px|left|Pałac z widocznymi pozostałościami krzyżackiego zamku W roku 1659 zamek został zdobyty przez oddziały szwedzkie pod dowództwem Adolfa Jana, brata króla szwedzkiego Karola X Gustawa.
Po pokoju w Oliwie, w miejsce drewnianego dworu Konarskiego późniejsi polscy starostowie z rodu Sapiehów lub Wejherów (od 1695 roku) wznieśli barokowy pałac.
W czasach zaborów w 1830 roku władze pruskie rozebrały większość zamku. W latach 1847–1850 rodzina von Livonius na terenie dawnego zamku wzniosła nowy neogotycki pałac, który zachował się do dzisiaj.
Północno-wschodni odcinek murów o długości 75 m został rozebrany w czasach PRL w 1961 roku.
Do dzisiaj zachowały się fragmenty murów obwodowych.
Przypisy