W 1516 r. w Jazdowie zamieszkała księżna mazowiecka Anna z synami Stanisławem i Januszem.
W 1548 r. królowa Bona Sforza poleciła zbudować na terenie Jazdowa obszerny, drewniany dwór i zabudowania gospodarcze. Dwór ten mieścił się około 120 metrów w kierunku północnym od dzisiejszego Zamku Ujazdowskiego. W 2. połowie XVI wieku na miejscu obecnego zamku nowy dwór zbudowała królowa Anna Jagiellonka, żona Stefana Batorego.
Pałac Zygmunta III Wazy Po 1624 roku murowaną rezydencję w miejscu dzisiejszego zamku rozpoczął budować Zygmunt III Waza. Był to wczesnobarokowy pałac (nazywany potem Zamkiem Ujazdowskim) zbudowany na podstawie projektu Matteo Castellego lub Konstantego Tencalli. Była to wtedy piętrowa budowla z wewnętrznym dziedzińcem, dwoma skrzydłami, krużgankami i sześciobocznymi, dwupiętrowymi wieżami w narożnikach.
Miejsce było wybrane bardzo starannie. Zamek stanął nad brzegiem wysuniętego ku wschodowi tarasu skarpy, idealnie na osi załamanego pod kątem biegu Wisły. Tym sposobem rezydencja monarchy stawała się miejscem, skąd rozpościerał się na wschód widok nieporównywalny, a zarazem punktem orientacyjnym dla zbliżających się do Warszawy statków rzecznych. Przybyszów w pierwszej kolejności witała prywatna siedziba króla.