Podczas wojny północnej, w dniu 28 września 1708 r. kolegium podzieliło los całego miasta ukaranego przez cara Piotra I. Kozacko-kałmucki oddział jazdy spalił Witebsk, „całe zamki y miasto, ratusz y kramy, Wzhorie, Zaruczewie y Zadunawie, cztery kościoły y cerkwi dwanaście”. Wszystkie drewniane budowle, łącznie z kościołem św. Józefa spłonęły, a także dachy nieukończonego kolegium.
Darowizny pozwoliły w 1714 r. ukończyć kolegium. W 1716 roku ze środków kasztelana witebskiego Marcjana Michała Ogińskiego i miejscowej szlachty rozpoczęto budowę murowanego kościoła. Początkowo dość długo zakładano fundamenty, a właściwe prace budowlane przeprowadzono w latach 1721–1731. W 1732 roku wewnątrz nowego kościoła pojawiły się trzy ołtarze. Pracami kierował włoski architekt K. Anglianini, autor ołtarza świątyni i wykładowca teorii architektury w kolegium. W dniu 5 sierpnia 1731 roku sufragan wileński Jerzy Ancuta konsekrował kościół. Od 1737 r., na fundamentach założonych jeszcze w 1691 r., zbudowano drugie skrzydło kolegium. Murowane budynki kolegium zbudowano w latach 1691–1714 i 1737-1755. W XVIII wieku kościół św. Józefa usytuowany obok witebskiego dworu Ogińskich, spełniał funkcję ich głównego mauzoleum. W 1751 r.