Ozdobę i charakterystyczny element XVIII-wiecznego dziedzińca stanowiła dekoracyjna pergola. Od strony południowej wjazd na teren posesji zamykała ozdobna brama. Całość tej obszernej kompozycji ogrodowej dopełniały karczma (austeria) położona przy głównej drodze do wsi Młociny i wiatrak, najbardziej oddalony od pałacu, usytuowany na wiślanym brzegu.
W pałacu bywali królowie August III Sas i Stanisław August Poniatowski.
Po 1790 posiadłość stała się własnością Michała Starzeńskiego, a od 1820 należała do rodziny de Pothsów. W 1876 po odłączeniu od majątku Młociny pałac został sprzedany bankierom Hipolitowi Wawelbergowi i Stanisławowi Rotwandowi. Pałac został znacznie przebudowany w 1898 na letnią rezydencję. W latach 1906–1945 właścicielem pałacu była rodzina Grodzickich. W 1934 budynek został uszkodzony przez pożar.
Pałac nie został poważniej zniszczony podczas II wojny światowej, jednak został zaniedbany i odrestaurowany w latach 1947–1949. Po II wojnie światowej był siedzibą Muzeum Kultur Ludowych (późniejsze Państwowe Muzeum Etnograficzne). Ulica prowadząca do pałacu otrzymała nazwę Muzealna (od wcześniej wspomnianego muzeum, które już pod nazwą Państwowe Muzeum Etnograficzne zostało w 1973 przeniesione na ul. Kredytową 1). Od lat 80. XX wieku pałac stał się własnością PAN do lat 90.