Anny, majorat obciążały także należności wojenne, pensje wdowie, które hrabia Antoni musiał wypłacać swojej macosze - żyjącej jeszcze przez kilka lat - wdowie po hrabim Johannesie Josephie. To wszystko spowodowało, iż hrabia popadł w liczne długi. Mimo to udało mu się zachować dawną świetność rodu. W latach 1756-1764 podjął się on dzieła renowacji i rozbudowy o 4 nowe kaplice Kalwarii na Górze Świętej Anny. Zmarł 18 stycznia 1796 r. w zamku w Polskiej Cerekwi. Pochowany jest w kościele kalwaryjskim pw. Św. Krzyża na Górze Świętej Anny, w którym znajduje się jego portret, z namalowanym u podnóża pałacem w Żyrowej, co wskazuje, że za swojego panowania hrabia zlecił gruntowną renowację budynku. W 1781 przeprowadzono renowację pałacu połączoną z przebudową. Zmieniono wówczas dach czterospadowy na mansardowy, zatynkowano sgraffita i od strony dziedzińca dobudowano krużganek do skrzydła południowego (bramnego). Herb rodu umieszczono na wschodniej elewacji skrzydła głównego. Pałac w rękach rodu von Gaschin pozostał do 1852.
W następnych latach rezydencja zmieniała dość często właścicieli. W 1852 pałac kupił poseł Królestwa Prus Max Fryderyk von Hatzfeld-Schönstein. Potem Żyrową posiadali kolejno: generał August von Nostitz, bracia Godecke, Eduard Guradze.