W 1543 wielki pożar miasta nie oszczędził również i tego obiektu, z którego pozostały tylko ściany.
Odbudowa z XVI wieku nadała zamkowi oblicze znane nam do dzisiaj. Dobudowano dwa skrzydła, tworząc zamknięty czworobok, zaś wieżom nadano nowy, bardziej zgodny z duchem renesansu kształt okrągły. Dalsze fundowane przez elektora brandenburskiego przebudowy – z 1559, 1586 i I poł. XVII wieku – miały na celu adaptację średniowiecznego zamku na potrzeby nowej sztuki wojennej. Okazały się na tyle skuteczne, że w 1659 r. obiekt wytrzymał szwedzkie oblężenie. Trzy lata wcześniej, podczas Potopu szwedzkiego, w zamku spotkali się Karol X Gustaw i Fryderyk Wilhelm elektor Brandenburgii, uzgadniając plany dalszej polityki wobec Polski.
Mimo tego w XVIII stuleciu obiekt uznano za niezdatny do dalszego wykorzystywania wojskowego, zamieniając go na tymczasowe koszary i magazyny. W wieku XIX (do 1925) mieścił więzienie, zaś do II wojny światowej – sąd. W 1945 zamek – podobnie jak pobliski ratusz i większość miejskiej zabudowy – został spalony przez Armię Czerwoną, dla której wszelkie zabytki w Prusach Wschodnich były przejawami znienawidzonej niemieckości.