Historia Filip IV miał zwyczaj często przebywać w Kwaterach Królewskich (Cuartel Real), częścią kompleksu Convento de San Jerónimo „el Real”, zbudowanego na potrzeby króla przez Filipa II. Przyczyną tych odwiedzin była prawdopodobnie słabość króla do przechadzek po sąsiedniej posiadłości hrabiego-księcia de Olivares. Dlatego też hrabia-książę w 1630 r. rozpoczął budowę aneksów do Cuartel Real. Ostatecznie kilka dobudowanych pawilonów utworzyło Palacio del Buen Retiro, pałac, który nigdy nie był planowany. Budowa trwała do 1640 r.: ostatecznie pałac składał się z ponad 20 budynków, dwóch dużych placów i wielu ogrodów wokół, które podkreślały jego prywatny charakter. Budynki kompleksu wzniesiono z ciemnej cegły, cenionej w Hiszpanii bardziej od pospolitego w tym kraju piaskowca.
Król spędzał w pałacu tylko kilka dni latem, mimo tego podjęto działania zmierzające do nadania pałacowi takich walorów artystycznych, jakie miał Alcázar, główna rezydencja króla. Mała liczba obrazów na rynku hiszpańskim spowodowała zamawianie obrazów z Rzymu i Neapolu, co wymagało wysiłków wielu ambasadorów (część tych obrazów obecnie znajduje się w Prado). Król Filip IV, słynący z mecenatu nad sztuką, zamawiał też liczne obrazy u wielkich artystów hiszpańskiego Złotego Wieku.