W okresie najazdu Szwedów na Polskę zamek został zdobyty w 1655 przez nieprzyjaciela, splądrowany i częściowo wysadzony w powietrze. W 1665 w zamku przebywał król Jan Kazimierz, a pod miastem stacjonowały wierne mu oddziały podczas Rokoszu Lubomirskiego. W 1766 po pożarze miasta do odbudowy zamku przystąpił starosta Franciszek Lanckoroński, który odbudował most na rzece Rawce i wyremontował pomieszczenia we wschodniej części Domu Dużego. Ostatnim starostą był małoletni Maciej Lanckoroński, pozostający pod opieką matki Justyny. Zamek był zamieszkany do 1794. Po rozbiorze Polski Prusacy rozebrali w latach 1795-1806 większość budowli, a z otrzymanych materiałów zbudowali lazaret i dom dla pruskiego komendanta. W 1821 Jan Ursyn Niemcewicz zanotował, że z zamku pozostała już tylko wieża główna. Przed 1830 L. Trausolt dokonał inwentaryzacji pomiarowej ruin. W 1859 piorun zdruzgotał ceglany hełm wieży, powodując zawalenie się sklepień. W latach 1954–58 zrekonstruowano górną część wieży głównej, fragment murów kurtynowych i odsłonięto zarys fundamentów.