Pierwotnie była to nazwa ogrodu rozrywkowego założonego na początku XIX w. przez francuskiego restauratora Szymona Chovota. Odkupił on ten teren od Kazimierza Poniatowskiego, dla którego założono tu wcześniej ogrody noszące nazwę „Na Górze”, stanowiące ciąg zieleni wraz z sąsiednim parkiem Na Książęcem.
W późniejszych latach teren ten dość często zmieniał właścicieli, zachowując charakter rezydencjonalny. Pierwsza parcelacja Ogrodów Frascati miała miejsce przez kolejnych właścicieli w latach 1912–1913, druga w 1929 r. W wyniku parcelacji, a później boomu budowlanego związanego z ulokowaniem w pobliżu zespołem budynków Sejmu, na tym terenie powstała dzielnica willowa, a bliżej siedziby parlamentu zwarta zabudowa dużych luksusowych kamienic.
W latach 50. XX w. na terenie ogrodów podkomorzego urządzono park Kultury i Wypoczynku, którego główna aleja ciągnęła się od monumentalnych schodów na osi ulicy Prusa po brzeg Wisły.