Podczas wojny golubskiej w 1422 r., gdy w okolicy pojawiły się wojska Jagiełły, Krzyżacy sami spalili miasto, natomiast zamek wytrzymał polskie oblężenie rozpoczęte 28 sierpnia. Zamek został zdobyty przez propolski Związek Pruski w lutym 1454 roku, jednak w trakcie walk spłonęło jedno skrzydło zamku. W 1466 r. w wyniku pokoju toruńskiego Kowalewo powróciło do Polski, stając się siedzibą starostwa grodowego i miejscem sądów grodzkich województwa chełmińskiego.

Zamek został uszkodzony w czasie wojny ze Szwecją w latach 1655–1660, tak, że w lustracji z 1664 roku opisano, że jedna z wież zamkowych popada w ruinę. Należał do starostwa kowalewskiego w 1662 rokuOpis królewszczyzn w województwach chełmińskim, pomorskim i malborskim w roku 1664, wydał Józef Paczkowski, Toruń 1938, s. 3.. W 1670 roku wizytator Strzesz opisał „odznaczający się świetnością” kościół zamkowy, który opisał jako będący w dobrym stanie.

Zamek ostatecznie rozebrany przez władze pruskie około 1830 roku jako budulec na drogę i około 1857 na budowę kościoła ewangelickiego i domu parafialnego.