Po śmierci Jerzego Ossolińskiego pałac przeszedł w ręce rodziny Lubomirskich (córka Ossolińskiego, Helena Tekla wyszła za mąż za Aleksandra Michała Lubomirskiego). Na polecenie Heleny Tekli i jej syna, Józefa Karola Lubomirskiego, w latach 1681–1697 nastąpiła przebudowa budynku według projektu Tylmana z Gameren. Od strony dziedzińca dobudowano dwa dwupiętrowe alkierze ozdobione rzeźbami królów i zwieńczone stożkowymi dachami. Alkierze te połączone zostały dobudowaną siedmioosiową elewacją, która zasłoniła dotychczasową pięcioosiową. Od strony ogrodu z kolei w miejscu wież wzniesiono dwa dwupiętrowe pawilony. Prawdopodobnie w czasie tej przebudowy (albo jeszcze przed jej rozpoczęciem) wystrój wewnętrzny pałacu został wzbogacony o kamieniarkę wymontowaną z pałacu Kazanowskich, zakupionego przez Helenę Teklę w 1663. Oprócz tego w pałacu zainstalowano pierwsze w Warszawie dźwigi osobowe (windy), przeznaczone dla Jerzego Ossolińskiego i jego żony. Szyb jednej z nich został odnaleziony przez Jana Zachwatowicza podczas przebudowy budynku na siedzibę Ministerstwa Spraw Zagranicznych w latach 30. XX wieku.