W 1776 pałac został zakupiony przez Stanisława Augusta Poniatowskiego z przeznaczeniem na mieszkania dla dworzan i włączony do zespołu zabudowań zamkowych. Rezydował tam m.in. marszałek wielki koronny Michał Jerzy Mniszech. Skrzydło północne nadbudowano o dwa piętra i połączono z Biblioteką Królewską. W 1794 król przekazał pałac swemu bratankowi księciu Józefowi Poniatowskiemu, który wprowadził się do niego w 1798. Wraz z nim w pałacu zamieszkały jego siostra Maria Teresa z Poniatowskich Tyszkiewiczowa oraz francuska przyjaciółka, Henrietta z Rarbatan hrabina de Vauban. Hrabina mieszkała w pałacu przez 17 lat.
Od 1798 pałac stał się jednym z najsłynniejszych salonów Warszawy, miejscem wystawnych przyjęć, balów i przedstawień teatralnych. Po opuszczeniu w 1806 Warszawy przez wojsko i administrację pruską, książę gościł w nim m.in. marszałka Francji Joachima Murata. Po objęciu w 1807 przez Poniatowskiego stanowiska ministra wojny Księstwa Warszawskiego stał się siedzibą nowego ministra i jego kancelarii.
Po śmierci księcia Józefa Poniatowskiego w 1813 pałac odziedziczyła Maria Teresa z Poniatowskich Tyszkiewiczowa, która w 1820 sprzedała go carowi Aleksandrowi I.