Niespełna dwadzieścia lat później Litwini pod wodzą księcia Kiejstuta spalili strażnicę. Po tym wydarzeniu w latach 1370–1380 wybudowano murowany zamek na rzucie zbliżonym do kwadratu, w środku którego znajdowała się studnia. Od strony południowo-wschodniej rozciągało się przedzamcze. Było ono wraz z zamkiem otoczone murami obronnymi i fosą. Przedzamcze od zamku oddzielone było murem obronnym, w którym znajdowała się prowadząca do środka brama.

Przed wybuchem wojny trzynastoletniej inwentarze zamkowe wymieniały: silos zbożowy, piwnice, kuchnię, słodownię, prochownię, kaplicę, poddasze służące jako skład mięsa, folwark bydlęcy, folwark zwyczajny, łaźnię, spiżarnię i snycernię. Trzymano tu też 26 kusz i 10250 bełtów oraz 43 hakownice.

Po likwidacji zakonu w 1525 roku, na zamku rezydował starosta książęcy. Służył też on za kwaterę w trakcie polowań księcia pruskiego Albrechta oraz jego następców. W XVII wieku opustoszał, a w kolejnym stuleciu zaczął popadać w ruinę. Rozebrano wieżę i mury wraz z basztami. W latach 1766–1792 rozebrano północno-wschodnie skrzydło zamku, oraz górne kondygnacje pozostałych skrzydeł. Zasypano również południową fosę.

Aktualnie ruiny zamku poddawane są rewitalizacji i staną się nowym produktem na turystycznej mapie Warmii i Mazur.