W Rybarzowicach znajdowały się dwa okazałe pałace. Stary Pałac wybudował hrabia Leopold von Nostitz w 1690 r. Einsiedlowie rezydowali w nim do drugiej połowy XVIII w. Później mieściło się w nim archiwum i siedziba zarządcy Zawidowskiego Państwa Stanowego. Portal tego obiektu ozdobiony był zegarem słonecznym i herbami rodzin von Nostitz oraz von Ruchmor. W 1694 r. hrabia Leopold von Nostitz, sprzedał Rybarzowice potomkowi prastarej szlachty miśnieńskiej, Hansowi Hauboldowi von Einsiedel, który jako pierwszy z rodu osiadł na Łużycach. Hans Haubold był blisko związany z Augustem Mocnym (wtedy jeszcze następcą tronu), z którym w latach 1687-1689 odbył podróż do Francji, Hiszpanii i Włoch. W latach 1763–1776 wzniesiono drugi, znacznie potężniejszy pałac, zaprojektowany przez architekta z Zittau Andrzeja Hunigena. Było to założenie murowane na rzucie podkowy o rokokowych wnętrzach ozdobionych dekoracjami stiukowymi. Rybarzowicka rezydencja Einsiedlów przypominała nieco istniejący do dziś pałac Gersdorfów w Pobiednej. W rybarzowickim pałacu znajdowały się bezcenne dzieła sztuki. Między innymi obrazy Canaletta i Adama Graffa znanych w Polsce i Saksonii malarzy z XVIII wieku. Biblioteka zawierała ponad 4600 tytułów, w tym wiele cennych poloników.