W dniu 25 września 1454 roku król Kazimierz Jagiellończyk rozkazał radzie miejskiej Torunia zniszczyć zamek w Papowie (a także w Bierzgłowie i Kowalewie), jednak w początkach marca 1458 roku, zamek zajęły krzyżackie oddziały zaciężne pod dowództwem Bernarda Szumborskiego na czele 55 żołnierzy. W dniu 20 lipca tego samego roku pod zamek podeszli Polacy dowodzeni przez rycerza Piotra z Szamotuł i zdobyli go szturmem, w związku z czym Krzyżacy natychmiast się poddali. Następnie wojska polskie realizując polecenie króla spaliły zamek. W 1466 roku znalazł się on w granicach Królestwa Polskiego, stając się królewszczyzną. Jego pierwszym starostą został Gabriel Bażyński.
W dniu 26 maja 1505 roku król Aleksander Jagiellończyk nadał obiekt biskupowi chełmińskiemu Mikołajowi Chrapickiemu i jego następcom. Biskupi częściowo rozebrali zamek przed 1639 rokiem na materiał budowlany na potrzeby budowy seminarium duchownego w Chełmnie, jednak z uwagi na to, że zamek zbudowano z kamieni polnych, w dużym stopniu przetrwał tę rozbiórkę. W rękach biskupów ruiny zamku pozostawały do I rozbioru Polski w 1772 r. W XIX wieku dalszych zniszczeń dokonali okoliczni mieszkańcy.
Zamek Papowski przed zniszczeniem nie uległ większym przekształceniom i przebudowom, ponieważ był relatywnie krótko użytkowany.