W 1503 pożar strawił drewniane zabudowania, ocalał jedynie stołp i fundamenty. Odbudowa trwała wiele lat, a na potrzeby budowy zamku uruchomiono w 1512 cegielnię i w 1525 kamieniołom. Prace zakończono w 1534. Koszty odbudowy pokrył ustanowiony podatek powszechny i opłaty uzyskane za korzystanie z mostu zbudowanego w 1504. Zezwolenie na budowę mostu musiał potwierdzić sam król Aleksander Jagiellończyk, ponadto zwolnił miasto na 15 lat z podatków. Była to ostatnia wielka przebudowa zamku i jego otoczenia. W późniejszych latach budowla systematycznie chyliła się ku upadkowi, traciła swój obronny charakter.
Pożar spowodowany przez Szwedów w 1656 przypieczętował upadek zamku. Lustracja z 1765 wykazała zniszczenia wszystkich zabudowań oprócz wieży i budynku południowego zamku. Powodzie w 1805 i 1813 podmyły wzgórze i zniszczyły mury obronne oraz budynki gospodarcze. Przez pewien czas w zamku mieścił się skład soli, po czym władze austriackie przeznaczyły go do rozbiórki, czego jednak nie zrealizowano. Ostatnie przebudowy z lat 1904–1906 i 1929–1931 ostatecznie zmieniły charakter zamku. O jego dawnym przeznaczeniu i obronności świadczyła tylko gotycka wieża.