W 1735 roku stał się własnością hrabiego Aleksandra Sułkowskiego. Powstały tam cegielnia, fabryka pieców i browar, a w latach 1737–1739 przebudował on pałac prawdopodobnie według projektu Jana Zygmunta Deybla i Joachima Daniela Jaucha.
W roku 1765 nowym właścicielem pałacu został Stanisław August Poniatowski, który przekazał go Skarbowi Państwa z przeznaczeniem na siedzibę Szkoły Rycerskiej. W celu dostosowania wnętrz do potrzeb szkoły zostały one przebudowane przez Dominika Merliniego. Po upadku insurekcji kościuszkowskiej w 1794 roku Szkoła Rycerska została zniesiona.
W 1814 roku pożar zniszczył saskie budynki koszar przed pałacem i w 1816 roku na ich miejscu powstały początkowo dwa boczne pawilony projektu Jakuba Kubickiego. W tym też roku pałac stał się siedzibą Uniwersytetu Warszawskiego. Jednocześnie od 1817 do 1831 roku mieściło się w nim Liceum Warszawskie. W latach 1818–1822 nastąpiła rozbudowa o dwa równoległe do Krakowskiego Przedmieścia pawilony projektu Michała Kado.