W latach dwudziestych XIX wieku w bocznej oficynie pałacu mieszkał Julian Ursyn Niemcewicz. Jednym z jego mieszkańców był także szef tajnej rosyjskiej policji Nikołaj Nowosilcow. W czasie swoich pobytów w Warszawie w pałacu zatrzymywała się Maria Kalergis. W latach 1915–1918 rezydował tam hrabia Bogdan Hutten-Czapski.
Od roku 1857 w pawilonie na rogu Krakowskiego Przedmieścia i Czystej (obecnie Ossolińskich) mieściła się księgarnia Gebethnera i Wolffa.
W 1881 roku na wydzierżawionym przez Gracjana Ungra dziedzińcu pałacu wzniesiono pawilon wystawienniczy zaprojektowany przez Leandra Marconiego. Był on wykorzystywany na wystawy malarstwa, m.in. tam po raz pierwszy wystawiono Hołd pruski oraz (po raz drugi w Warszawie) Bitwę pod Grunwaldem Jana Matejki. W 1884 roku Towarzystwo Zachęty Sztuk Pięknych przeniosło do pawilonu (z Muzeum Przemysłu i Rolnictwa) swoją wystawę. Zasłaniającą główny korpus budynku budowlę rozebrano w 1896.
Pałac pozostawał własnością Potockich herbu Pilawa do roku 1945. W okresie międzywojennym w dalszym ciągu był wynajmowany, m.in. swą siedzibę miały w nim Brytyjska Misja Wojskowa (1923)Liste du corps diplomatique à Varsovie en Juillet 1923, poselstwo Szwecji (1923–1927) i ambasada Stanów Zjednoczonych (1932).