Największy rozkwit klasztoru nastąpił w XVIII w., głównie za sprawą przebudowy dokonanej przez Jana Blažeja Santiniego-Aichela. Została również założona akademia dla młodzieży szlacheckiej. W wyniku reform Józefa II Habsburga klasztor został ostatecznie rozwiązany w roku 1784. Niektóre budowle przeszły w prywatne ręce, a centrum klasztoru zostało później przebudowane na zamek.
W latach 1898–1905 Zdziar uzyskał połączenie kolejowe (trasa Praga-Brno).
W roku 1949 Zdziar został połączony z wsią Zamek Zdziar, a nazwa została zmieniona na Zdziar nad Sazawą (zgodnie z istniejącą już nazwą stacji kolejowej). Miasto zostało również stolicą powiatu. W latach siedemdziesiątych XX w. władze miasta zdecydowały, że Zdziar nad Sazawą powinien być „nowoczesnym miastem socjalistycznym” i dlatego rozpoczęto prace związane z jego „uzdrawianiem”. Stare budownictwo (często zabytkowe) w centrum miasta zostało zastąpione budynkami z wielkiej płyty.
W mieście, na wzgórzu Zelená Hora, znajduje się jeden z najważniejszych kościołów pielgrzymkowych na terenie Moraw – Sanktuarium pielgrzymkowe św. Jana Nepomucena (Zelená Hora).