W 1820 roku kaplica została objęta zakazem sprawowania nabożeństw narzuconym przez władze zaborcze. Niszczejąca kaplica została pod koniec XIX. i początku XX. stulecia poddana kilkukrotnym zabiegom konserwatorskim: najpierw w 1870 z inicjatywy Bractwa Pana Jezusa Ukrzyżowanego, następnie w 1895 i ostatecznie w 1910 roku. Ta ostatnia konserwacja została przeprowadzona dzięki hojności mieszkańców i instytucjom miejskim. Pracami kierował Zygmunt Hendel, który wcześniej, przed drugą renowacją, zbadał architekturę kaplicy a później był współlaureatem konkursów na odnowę kaplicy zorganizowanych w 1891 i 1892 przez dyrekcję Towarzystwa Przyjaciół Sztuk Pięknych. Dzięki tym zabiegom Ogrojec nie tylko ocalono od dalszej degradacji, lecz także przywrócono dawny późnogotycki charakter. Co więcej, dzięki Juliuszowi Makarewiczowi, odkryto późnogotyckie malowidła ścienne. W 1938 roku Franciszek Mączyński, wraz z zespołem, zrekonstruował zwieńczenia arkad. Ponadto, dzięki Mieczysławowi Gąseckiemu, odnowiono kamienne rzeźby i polichromię. W roku 1953 parafia mariacka przekazała kościołowi św. Barbary zarząd nad kaplicą.