Architektura zamku uzupełniona była przez barokowy pałac (zamek średni), dobudowany w 1673 przy skrzydle południowym przez biskupa warmińskiego Wydżgę. Z pałacu tego korzystało 8 biskupów. Pałac został rozebrany przez zabójcze władze pruskie w latach 1839–1840. Pozostał po nim zarys fundamentów – między południowym skrzydłem zamku oraz suchą fosą znajdującą się między zamkiem a południowym przedzamczem. Na dziedzińcu przedzamcza w centralnym miejscu znajduje się barokowy pomnik św. Katarzyny z 1756, ufundowany przez biskupa Grabowskiego.

Mimo że w 1838 nadprezydent Prus Wschodnich, Heinrich Theodor von Schön, stwierdził, że „zamek jest zbędnym, zaprzepaszczonym, starym budynkiem, zasługującym na sprzedaż albo na rozbiórkę”Eugeniusz Paukszta, Warmia i Mazury, Wydawnictwo „Śląsk”, Katowice, 1970, s. 81, to w II poł. XIX w. jego restaurację przeprowadził konserwator królewski Ferdinand von Quast.

Przedzamcze thumb|Przedzamcze