zakaz trwał aż to panowania Albrechta Hohenzollerna jako księcia Prus. Następnie przekazali zamek wojskom polskim, które posiadały go do 1461. Po sekularyzacji Prus zamek stał się siedzibą starosty i wkrótce, w latach 1528–1529 został przebudowany. Nastąpił też szereg prac mających na celu przystosowanie zamku do nowych funkcji. W ich wyniku powstała np. druga brama i wykusz nad główną bramą z 1528. Kolejna przebudowa nastąpiła w latach 1559–1566. W 1622 roku na dziedzińcu wzniesiono niewielką cylindryczną klatkę schodową. Wykonano też kilka prac nad wnętrzami, m.in. sklepienia żebrowe w kuchni i browarze. Poprzez drugą przebudowę z XVII wieku silnie zaingerowano w średniowieczny wyraz budowli rozbierając górną kondygnacje skrzydła północnego razem z ozdobnymi szczytami przez co zrównano wszystkie 3 skrzydła. Rozbiórkę zewnętrznych fortyfikacji rozpoczęto w I połowie XVIII wieku. 15 grudnia 1797 w zamku wybuchł pożar, który zniszczył część budowli. thumb|left|Zamek około roku 1930 thumb|Brama główna W latach 1911–1912 miasto wykupiło obiekt, przeznaczając część pomieszczeń na mieszkania, przez co sztucznie przybyło w murach prostokątnych okien. W tym samym czasie znajdowało się tu także biuro niemieckiej 3 Brygady Piechoty. W końcu lat 30. XX wieku przeprowadzono w zamku nieznaczne prace konserwatorskie.