Po I WŚ, na prośbę prezydenta Krakowa, przyjmował ważne osobistości ze świata polityki i kultury, m.in. pary królewskie, maharadżów, światowej sławy artystów, np. podejmował w 1936 następczynię tronu holenderskiego, późniejszą królową Julianę wraz z małżonkiem, podczas ich podróży poślubnej do Polski. W pałacowych wnętrzach zorganizowano Wystawę Starych Zegarów (1938) i Wystawę Miniatur (1939), z których dochód przeznaczono na budowę nowego gmachu Muzeum Narodowego. W czasie II wojny światowej w pałacu Pusłowskich mieściły się biura centrali Rady Głównej Opiekuńczej (R.G.O.). Pałacowe zbiory szczęśliwie przetrwały okupacjęMarek Żukow-Karczewski, Pałace Krakowa. Pałac Pusłowskich, "Echo Krakowa", 217 (13026) 1989.. W latach 1996–2008 odrestaurowany dzięki funduszom Społecznego Komitetu Odnowy Zabytków Krakowa.
Zarówno Xawery, jak i jego ojciec, Zygmunt Pusłowski chcieli, by wszystkie rodzinne zbiory zgromadzone w pałacyku, w tym przywiezione z pałacu w Czarkowach przed spaleniem go przez wojska rosyjskie w 1914, stanowiły niepodzielną całość. Tak się jednak nie stało. W 1953 Xawery Pusłowski przekazał Uniwersytetowi Jagiellońskiemu sto dzieł.