Kolejna przebudowa rezydencji miała miejsce w latach 1778–1783 i dokonana została z polecenia ówczesnego właściciela, hr. Eliasza Wodzickiego. Architekt Ferdynand Nax nadał wtedy pałacowi cechy stylu wczesnoklasycystycznego. W następnych dziesięcioleciach często zmieniali się jego właściciele. Mieszkali w nim m.in. Potuliccy herbu Grzymała, Rostworowscy herbu Nałęcz, Wiśniowieccy herbu Korybut, Jabłonowscy herbu Prus III i Radziwiłłowie herbu Trąby. W końcu XIX w. budynek stał się własnością Potockich herbu Pilawa. Z ich polecenia w latach 1896–1898 dokonano restauracji rezydencji, przekształcając wnętrza pomieszczeń na parterze oraz częściowo przebudowując dziedziniec wewnętrzny. Autorem tych zmian był architekt Karol Zaremba.
Dalsze prace prowadzono w pałacu w latach 1910–1912. Ich projektodawcami byli architekci Ludwik Wojtyczko i Kazimierz Wyczyński. Założono wtedy nowe klatki schodowe i przebudowano wnętrza drugiego, mieszkalnego piętra. Pierwsze piętro zachowało w dalszym ciągu charakter reprezentacyjny, podkreślony elementami dekoracyjnymi salonów. Po II wojnie światowej pałac był odnawiany i zrekonstruowany.