Wkrótce kościół został spustoszony, a w części klasztornej miasto urządziło magazyn słodu, z którego korzystał browar miejski i mieszczenie uprawnieni do warzenia piwa. W późniejszym okresie budynek służył również za remizę strażacką i garaż dla pojazdów garnizonowych.
Próby powrotu W ten sposób zakończyła się w zasadzie historia augustianów-eremitów w Dzierżoniowie. Zakon nigdy nie uznał sprzedaży kościoła, uważając poczynania Rady Miejskiej za aneksję. Ojcowie augustianie kilkukrotnie podejmowali próby odzyskania swoich dóbr. W okresie wojny trzydziestoletniej, w 1627 roku, kiedy wojska austriackie pod dowództwem Wallensteina okupowały miasto, zaczęto zwracać kościołowi katolickiemu utracone prawa i majątki. Wówczas na krótki czas eremici odzyskali kościół i wyświęcili go 22 czerwca 1628 r. Czasy jednak były dla zakonników niebezpieczne, miasto było niemal całkowicie luterańskie i nastroje ludzi nie sprzyjały ponownemu osiedlaniu się braci pustelników w Dzierżoniowie. Kościół pozostał więc zamknięty aż do 1713 roku, kiedy to po gruntownych pracach remontowych został ponownie wyświęcony jako filia kościoła św. Jerzego. Otrzymał również nowe wezwanie Niepokalanego Poczęcia NMP. Utrzymano go z datków katolickiej gminy wyznaniowej i odprawiano w nim sporadyczne nabożeństwa, zwłaszcza ku czci jego patronki.