w rodzinnej krypcie spoczął wojewoda Marcjan Ogiński, uważany za głównego fundatora.
Znacznie ucierpiały podczas pożaru w 1757 i 1762 roku. Okres odbudowy kościoła zamykał się w latach 1763–1767, prowadząc jednocześnie budowę zachodniego skrzydła kolegium. W pracach projektowych brał udział Jan Krzysztof Glaubitz, ponieważ w październiku 1760 r. w rachunkach pojawił się zapis o wypłatę „P. Glaubiczowi architektowi”.
Odnawianie kolegium trwało do 1799 roku, przez co nabrało ono cech stylu przejściowego od baroku do klasycyzmu. W latach 1799–1800 zbudowano nowy gmach szkolny z dochodów klasztornej apteki. Był to tak zwany „Dom z kopułą” i miał on już cechy stylu klasycystycznego.
W 1820 roku władze rosyjskie zlikwidowały zakon jezuitów. W latach 1822–1839 budynek zajmowali bazylianie. Po Powstaniu listopadowym, w 1832 roku zamknięto szkołę, w której prowadzono zajęcia w języku polskim.