Po bitwie pod Grunwaldem w dniu 27 września 1410 roku na zamku zatrzymał się król Jagiełło, a 10-13 grudnia spotkał się na zamku z Heinrichem von Plauen. Ponownie król przebywał na zamku 2 lutego 1411 roku, oraz w końcu kwietnia 1414 roku. Ostatni raz król odwiedził zamek w maju 1420 roku. Przed 1422 rokiem dowódca załogi Dobek Puchała przekazał zamek kapitule. Z rachunków biskupich wiadomo, że prace budowlane prowadzono na zamku w latach 1498-1500.
Rezydencja renesansowa Przed 1537 rokiem biskup Jan Karnkowski sfinansował budowę czworobocznej wieży. W latach 1582–1600 Hieronim Rozdrażewski rozbudował zamek oraz przekształcił wnętrza tak aby powstała renesansowa rezydencja obronna. Podczas tej przebudowy wzniesiono przy suchej fosie czworoboczną wieżę bramną.
Po zniszczeniach z połowy XVII wieku zamek został opuszczony.
Pałac barokowy W początkach XVIII wieku Felicjan Konstanty Szaniawski wzniósł drewniany budynek poza terenem zamkowym, a w 1720 roku biskup Krzysztof Antoni Szembek wykorzystał zniszczone mury głównego budynku zamkowego do wzniesienia barokowego pałacu, do czego zatrudnił toruńskiego architekta Jana B. Cocchiego.