Karol III wychował się w Pałacu Królewskim w Madrycie, który został zaprojektowany przez Filippo Juvarra dla ojca Karola – Filipa V Burbona, a jego modelem był znowu Charlottenburg. thumb|220px|Widok od strony pałacu na park ze skarpą thumb|220px|Fontanna bogini Diany w parku thumb|220px|Fontanna Akteona w parku Pałac ma kształt ogromnego kwadratu, z dwoma głównymi skrzydłami przecinającymi się pod kątem prostym i czterema innymi skrzydłami, które tworzą ściany kwadratu. Pałac posiada cztery wewnętrzne dziedzińce. Obszerny ośmiokątny westybul zdaje się być inspirowany przez Bazylikę Santa Maria della Salute w Wenecji, podczas gdy pałacowa kaplica najczęściej jest porównywana do kaplicy królewskiej w Wersalu Roberta de Cotte’a.
Vanvitelli zmarł w 1773, budowę kontynuował jego syn Carlo, aż zakończył ją w 1780. Po ukończeniu pałac wyglądał olśniewająco, ale rodzina królewska wcale nie spędzała tu wiele czasu. Pobliskie średniowieczne miasteczko – San Leucio jest oddalone 10 kilometrów na północny wschód, miało być wzorcowym miastem wybudowanym przez Ferdynanda I. Nadal jest ośrodkiem produkcji jedwabiu, którą zainicjował król.