W roku 1782 rada Miasta Starej Warszawy wystawiła pałac na sprzedaż z powodu zadłużenia. W roku 1784 jako właściciel figurowała już „Metropolia Ruska”. W latach 90. XVIII wieku mieścił poselstwo Rosji, a zarazem pełnił funkcję rezydencji posła rosyjskiego Osipa Igelströma, przez co pałac był podczas insurekcji kościuszkowskiej w 1794 celem zaciekłych ataków polskich pod wodzą Jana Kilińskiego, ulegając przy tym zniszczeniu.
W latach 1806–1808 nastąpiła jego odbudowa w stylu klasycystycznym według projektu Fryderyka Alberta Lessla dla Feliksa Potockiego i w latach 1808–1811 powstały skrzydła od strony ul. Podwale. Pawilony te, w połączeniu z oficynami, utworzyły dziedziniec ograniczony od strony ulicy żelaznymi sztachetami. Po 1818 właścicielem pałacu został Karol Zeydler. Od 1820 mieściła się tutaj Resursa Kupiecka, przeniesiona ok. 1829 do pałacu Mniszchów. Następnie znajdowały się w pałacu księgarnie i wiele sklepów. Pod koniec XIX wieku budynek stał się kamienicą czynszową.