Jako nową siedzibę rodu wzniesiono tu w latach 1653–1680 w miejscu wcześniej istniejącej nowożytnej budowli pierwszy, niewielki rozmiarowo, pałac; przy czym źródła różnie podają datę ukończenia jego budowy, 1653, 1660 czy najczęściej podawana 1680.
27 kwietnia 1705 wmurowaniem kamienia węgielnego rozpoczęto rozbudowę rezydencji do pałacu o wyglądzie zbliżonym do dzisiejszego. Przebudową kierował znany warszawski architekt włoskiego pochodzenia Józef Piola, który nadał rezydencji formę oszczędnego holenderskiego baroku z elementami architektury klasycystycznej. Był to przejaw zastosowania nurtu określanego jako palladianizm (od nazwiska włoskiego architekta Andrea Palladio), który stosował w swoich projektach Józef Piola, a który w swych założeniach przeciwstawiał włoski klasycyzm obowiązującemu wówczas w europejskiej architekturze przepychowi baroku. Taka forma pałacu była także prawdopodobnie życzeniem zleceniodawcy, ówczesnego właściciela i zarządcy majątku, Jana von Hoverbecka, który wyznawał zasady purytańskiego stylu życia.
W 1704 roku powstała w Nakomiadach manufaktura ceramiczna, gdzie z miejscowych pokładów gliny wyrabiano i wypalano cegły na potrzeby rozbudowy budowli.