Pierwsze ogrody papieskie składały się z sadów (), łąk () oraz ogrodów w ścisłym tego słowa znaczeniu (). Ogrody zlokalizowane były w pobliżu wzgórza Sant’Egidio, gdzie dzisiaj wznosi się Palazzetto del Belvedere i krużganki Muzeów Watykańskich.
Papież Innocenty VIII zlecił architektowi Antoniemu del Pollaiolo wybudowanie letniej rezydencji, tzw. . Z biegiem wieków na terenach pierwotnych ogrodów, pomiędzy pałacem papieża Mikołaja III a letnią rezydencją, kolejni papieże wznosili nowe budowle. Juliusz II zlecił Donato Bramantemu połączenie Pałacu Apostolskiego z Belwederem. W ten sposób powstały dwie dwupiętrowe równoległe galerie z tarasami. Budowę ukończono w 1546 roku. Zewnętrzną granicę państwa i w dużej części ogrodów wyznacza linia murów wzniesionych za pontyfikatów Pawła III i Piusa IV.
Za pontyfikatu Piusa IV wzniesiony został Domek Piusa IV (). Jest on zabytkiem sztuki renesansowej. Autorami projektu byli: Pirro Ligorio i Sallustio Peruzzi. Obok domku urządzono w czasach Piusa V ogród botaniczny. Za Grzegorza XIII zbudowano tzw. Wieżę Wiatrów (), pierwsze watykańskie obserwatorium astronomiczne.