221, Instytut Historii PAN, Warszawa 2022, s. 281–283. ISBN 978-83-66911-05-5.. Został zaprojektowany przez architekta Dominika Merliniego, który wzorował się na renesansowej rezydencji Villa Rotonda koło Vicenzy, autorstwa Andrei Palladio. Budowę prowadzono w latach 1782–1786.
W 1794, podczas insurekcji kościuszkowskiej w pałacu rezydował Tadeusz Kościuszko. W czasach Księstwa Warszawskiego umieszczono w nim lazaret dla żołnierzy Napoleona. Z rąk spadkobierców pierwotnego właściciela pałac w 1816 r. nabył Michał Hieronim Radziwiłł. Po jego śmierci w 1831 r. majątek odziedziczył jego syn Michał Gedeon. W 1843 r. przeprowadzono remont pałacu pod kierownictwem Franciszka Marii Lanciego, podczas którego m.in. wymurowano na nowo część tarasu z grotą. W 1849 r. Radziwiłłowie sprzedali pałacyk Ksaweremu Pusłowskiemu. W 1879 częściowo naruszony w wyniku pożaru. Jego rekonstrukcję wykonał Józef Huss. Wandalin Pusłowski podarował Towarzystwu Opieki nad Nieuleczalnie Chorymi fragment gruntu z parkiem. Po śmierci Wandalina w 1884 Królikarnia na kilka lat przeszła w ręce Aleksandra Druckiego-Lubeckiego, w 1889 córka Wandalina Marta Krasińska odkupiła zespół pałacowo-parkowy.