W XVI w. Filip II rozbudował Kwatery Królewskie (hiszp. Cuarto Real), co stało się zalążkiem dla późniejszego Palacio del Buen Retiro. Osobisty pokój króla przylegał do ściany prezbiterium od strony ewangelii, co pozwalało królowi na słuchanie mszy świętej w swojej sypialni. Podobne rozwiązanie zastosowano w kompleksie pałacowo-klasztornym El Escorial.
Szczyt swojej świetności klasztor i pałac przeżywał w czasach Filipa IV, gdy ten uczynił to miejsce centrum życia politycznego i kulturalnego Imperium Hiszpańskiego. Podczas inwazji napoleońskiej (1808 r.) klasztor i pałac zostały poważnie uszkodzone przez wojska nieprzyjaciela. Zniszczenia były tak potężne, że zdecydowano się na rozbiórkę większości zabudowań. Z pałacu zachowały się dwa budynki: Casón del Buen Retiro i Salón de Reinos. Klasztor służył początkowo za koszary artylerii, w końcu za Izabeli II, pod wpływem namów jej męża, zdecydowano się na odnowienie kościoła.