W 1437 zamek stał się siedzibą komtura, przeniesiono również do niego sąd ziemski. Mimo tego zamek został zdobyty przez mieszczan z Elbląga w czasie wojny trzynastoletniej, po czym odbity przez Krzyżaków, a następnie oblegany przez wojska polskie. Udało im się jednak zdobyć tylko obszar przedzamcza.
Począwszy od 1508 zamek znajdował się w rękach biskupów pomezańskich, a od 1521 w rękach prywatnych rodzin von Egmon i von Werdte. W związku z tym w latach 80. XVI wieku przeszedł kolejną przebudowę, która miała uczynić z niego rezydencję w miejsce budowli typowo obronnej. Zamek został wyremontowany i rozbudowany. Na zamku średnim wzniesiono budynki wzdłuż północnej i wschodniej kurtyny. Na zamku wysokim wyremontowano istniejące skrzydło wschodnie i dobudowano pozostałe, zamykając dziedziniec wewnętrzny. W 1626 właściciele Przezmarka poparli Szwedów i kilkakrotnie udostępnili im zamek w celu zaopatrywania w żywność. W czasie potopu szwedzkiego podupadły budynek stał się stałą kwaterą szwedzką. Przez cały XVIII i XIX wiek obiekt, chociaż mieścił Urząd Ziemski, był poważnie zaniedbany, a proces jego popadania w ruinę został przypieczętowany, gdy w 1793 roku rozpoczęto rozbiórkę murów w celu pozyskania budulca na folwark i zbór ewangelicki. W roku 1935 podjęto nieukończone prace konserwatorskie oraz porządkowanie ruin.