Świetność rezydencji skończyła się wraz ze śmiercią Michała Fryderyka Czartoryskiego (zm. 1775). Wcześniej, w czerwcu 1769 r., konfederaci barscy splądrowali rezydencję. Spadkobiercy kanclerza nie rezydowali w Wołczynie i nie czynili tu poważniejszych inwestycji. Jedynie w latach 1777-80 prowadzono przy pałacu prace remontowe z okazji wizyty króla Stanisława Augusta, nadzorowane przez nadwornego architekta Czartoryskich, Joachima Hempla. W 1813 r. budowle pałacowe były we względnie dobrym stanie, jednak z wyposażenia i dekoracji przetrwały jedynie nieznaczne pozostałości. W 1844 r. kolejna właścicielka, Karolina Pusłowska, rozebrała modrzewiowy pałac i przeniosła go do Leoszek. Z zabudowań pałacowych pozostały murowane skrzydła i część gospodarcza. Na terenie pałacowego ogrodu zachował się murowany, piętrowy budynek tzw. archiwum, mieszczący niegdyś bibliotekę Czartoryskich. Istnienie tej budowli odnotowano jeszcze w 1893 r., podobnie jak pałacowej oranżerii.
W 1890 r. Wołczyn należał do Lucjana Moraczewskiego, a na przełomie w. XIX/XX majątek został ostatecznie rozparcelowany przez jego córkę.