W 1720według innych źródeł w 1727 pałac kupił król August II i przebudował na willę myśliwską, następnie założył przy niej zwierzyniec i ogród ozdobny, który w 1763 stał się parkiem publicznym. Posiadłość w dzierżawie posiadali najpierw poseł angielski Wrought, a następnie marszałek koronny Franciszek Rzewuski. W 1796 nieruchomość kupił rząd pruski, a potem stała się ona własnością skarbu Królestwa Polskiego.

W 1816 utworzono tu Szkołę Agronomiczną, która otwarła swoje podwoje dla uczniów w 1820 jako Instytut Agronomiczny. Na parterze pałacyku powstała wtedy kaplica. W 1862 szkoła została przeniesiona przez władze carskie do Puław, do nowo utworzonego Instytutu Politechnicznego i Rolniczo-Leśnego, a opuszczone budynki na Marymoncie przejęte zostały przez wojsko z przeznaczeniem na koszary. W 1915 budynki te, jak i całą Warszawę opuściły oddziały rosyjskie – w budynkach powstało schronisko dla nieuleczalnie chorych pod wezwaniem św. Józefa, w zrujnowanym pałacu zaś 2 lutego 1916 księża marianie ponownie urządzili kaplicę.

W 1924 kaplicę gruntownie przebudowano w stylu eklektycznym według projektu ppłk Henrycha;