Z kolei w 1454 roku zamek zdobyli członkowie Związku Pruskiego, a od 1461 ponownie znalazł się w posiadaniu biskupim odbity z rąk czeskich zaciężnych przez mieszczan. W XV w. lub na początku XVI w. na południowym przedmurzu zamku głównego ufortyfikowano przejazd bramny oraz groblę za pomocą barbakanu. Przed 1626 r. umocnienia barbakanu wzmocniono dodatkowo elementem fortyfikacji stałej – dwuramiennikiem. Został on umieszczony po południowej stronie fosy miejskiej. W latach 1626–1635 wojska szwedzkie, podczas pierwszej wojny z Rzecząpospolitą i okupacji północnej części władztwa warmińskiego, rozwinęły umocnienia przed barbakanem. W miejsce dwuramiennika został wzniesiony bastion. W 1636 roku zamek gościł króla Władysława IV. W 1807 roku zamek został częściowo zniszczony podczas wojen napoleońskich (bitwa o Braniewo, 26 lutego 1807). Od roku 1811 w zamku mieściła się szkoła (Seminarium Nauczycielskie w Braniewie). Podczas przebudowy w latach 1873–1874 rozebrano część zabudowań zamkowych, w tym dom główny. W nowo wybudowany budynek szkolny wkomponowana została gotycka wieża bramna. W czasie walk w 1945 roku zamek spłonął i około 1958 roku ruiny zostały rozebrane.