Kiedy po silnym sztormie w wyniku gwałtownej fali zalewowej siedziba uległa zniszczeniu, Claus von Wiher umocnił fosę i jej wały, oraz zbudował nowy zamek- „neuen Hof“ i stąd jego niemiecka nazwa Schloss Neuhof. W połowie XVI wieku Ernst von Weiher przebudował zamek w stylu renesansowym i dobudował do kapliczki Jerusalem wschodnie skrzydło. Kaplica nadal ma sklepienie kolebkowe z lunetami, a w niszy tablicę wotywną z napisem GWMUITG – 1567 – EWAUM - (niem.- Gott war mit uns in Todesgefahr – Er wirkt an uns Mächtiglich) (pol. – Bóg był w niebezpieczeństwie z nami – On potężnie na nas działa), podarowaną prawdopodobnie przez Ernesta Wejhera (Ernst von Weiher), który w 1567 ciężko ranny powrócił z wojny w Inflantach.
Po II wojnie światowej pałac przejął PGR w Charbrowie. W latach 90. XX w. pałac przejął prywatny właściciel i przeprowadził remont kapitalny obiektu. Elewacje zewnętrzne są otynkowane, a dachy okryte dachówką ceramiczną, tzw. karpiówką. Reprezentacyjną częścią pałacu jest hol – jest to dawna kaplica zwana Jeruzalem – w którym zachowała się oryginalna boazeria z okresu przebudowy z 1909/1910 roku.