Z początkiem lipca 1941 r., kiedy wojska niemieckie doszły nad Dźwinę i przechodził tędy front, spłonęła plebania, dzwonnica, dach kościoła oraz wyposażenie jego wnętrza. Niemcy zabrali dzwony, a ruiny dzwonnicy i klasztoru mieszkańcy rozebrali z przeznaczeniem na materiał budowlany. Kościół ucierpiał również podczas pożaru miasta w czerwcu 1944 r. w wyniku ostrzału przez Armię Czerwoną. mały|150px|lewo|Fasada kościoła na pocz. XX w.
Po zakończeniu II wojny światowej katolicy mieszkający w mieście chcieli odbudować świątynię, ale nie pozwoliły na to władze komunistyczne. W 1958 r. żołnierze Armii Czerwonej wysadzili kościół w powietrze razem z grobami, które znajdowały się w podziemiach. Według miejscowych uczyniono tak, aby nie "drażnić" wodza rewolucji Włodzimierza Lenina, którego pomnik znajdował się niedaleko kościoła. Ocalały jedynie trzy ściany budynku, wschodnia, frontowa ściana została zburzona. W następnych latach w kościele znajdowało się miejskie wysypisko śmieci i strzelnica milicji.