Po stracie córki kazano odlać z brązu jej postać, niestety figura ta została postrzelona przez żołnierzy sowieckich, a w późniejszym czasie zaginęła w niewyjaśnionych okolicznościach.

W roku 1893 majątek przeszedł w posiadanie Roberta Millera, a po I wojnie światowej odziedziczył go Martin Lutze, który okazał się dobrym gospodarzem. Majątek w tym czasie rozwijał się znakomicie i przetrwał w tej rodzinie, aż do II wojny światowej.

Po 1945 Po zakończeniu działań wojennych w Pałacu stacjonowali żołnierze radzieccy. Panował tu wówczas duch zemsty, anarchii i przemocy. Przygasły wszelkie walory i upadła świetność pałacu. Posmutniało otoczenie, zubożały wnętrza, a bogaty wystrój został rozgrabiony, zdewastowany lub całkowicie zniszczony.

W wyniku ofensywnych działań wojennych Toporów wraz z okolicami został zajęty 1 stycznia 1945 roku przez wojska frontu białoruskiego pod dowództwem marszałka Żukowa. Na mocy rozkazu Naczelnego Dowództwa Wojska Polskiego z czerwca 1945 roku Toporów i jego okolice zostały zajęte przez osadnictwo Wojska Polskiego. Techniczną stroną akcji zajmował się „Państwowy Urząd Repatriacyjny” (PUR). Placówka PUR-u udzielała dla przybywających wysiedleńców z Kresów Wschodnich wszelkich informacji o warunkach osiedlania się oraz przydzielała środki transportu do nowego miejsca zamieszkania.