W latach 50., Ermitaż stał się rezydencją Kazimierza Mijala. Za jego czasów powstała tam fontanna z okrągłym basenem. Kiedy Kazimierz Mijal wyjechał z kraju, Ermitaż zaadaptowano na przedszkole dla dzieci elit. W roku 1976 rozebrano ogrodzenie Ermitażu wzdłuż ulic Agrykoli i Myśliwieckiej, teren przedszkola otoczono siatką oraz postawiono latarnie. Ogród ogrodzono, postawiono bramki i stworzono boisko, na którym grali zarówno zawodnicy Legii, jak i młodzież z okolicznych szkół.
W 1993 roku Marek Kwiatkowski, ówczesny dyrektor Łazienek Królewskich, rozpoczął rozmowy z władzami Śródmieścia w sprawie przekazania budynku Ermitażu Łazienkom. Wywołało to protesty rodziców dzieci, wiązało się bowiem z likwidacją przedszkola, jednak pomimo to doszło do przekazania własności. Budynek był jednak w fatalnym stanie, a w budżecie Łazienek nie było pieniędzy na jego odnowę. Szybko jednak padła ze strony kancelarii prezydenta Lecha Wałęsy propozycja czasowego wynajmu. Powstała tam siedziba Bezpartyjnego Bloku Wspierania Reform, jednak po krótkim czasie budynek został ponownie opuszczony. W 1995 roku Ermitażem zainteresowała się warszawska restauracja „Belvedere”;