Obok prezentacji bogatych zbiorów sztuk europejskiej i dalekowschodniej, część centralną pałacu poświęcono pamięci Jana III i wspaniałej przeszłości narodowej.
W 1836 na terenie przedpałacowym kolejny właściciel Aleksander Stanisław Potocki wzniósł mauzoleum upamiętniające swoich rodziców, zaprojektowane przez Henryka Marconiego.
W 1892 pałac przeszedł do rąk Ksawerego Branickiego i pozostał własnością Branickich do 1945. Ostatnim właścicielem był Adam Branicki.
14 maja 1926, w trakcie przewrotu majowego, Stanisław Wojciechowski podpisał w pałacu rezygnację ze stanowiska Prezydenta Rzeczypospolitej Polskiej.
Podczas II wojny światowej Niemcy i Węgrzy zrabowali ok. 80% wyposażenia wnętrz pałacu, zniszczono także pałacowy ogród.
Po wojnie pałac został przejęty na własność państwa. W latach 1946−1952 pełnił funkcję rezydencji premiera. Po gruntownych pracach konserwatorskich i rewaloryzacyjnych oraz po rewindykacji znacznej części zbiorów wywiezionych przez Niemców, został udostępniony publiczności w 1962 roku.