W 1517 r. miał miejsce pożar kościoła i klasztoru, który uszkodził oba obiekty. Odbudowa szła bardzo mozolnie. W związku z brakiem powołań, które wynikało z rozprzestrzeniania się reformacji w Kłodzku zakon opuścił miasto (1546 r.) i przekazał Radzie Miejskiej oba obiektyZastrzeżono sobie jednak prawo ich zwrotu w razie powrotu bernardynów do Kłodzka.. W klasztorze urządzono szpital dla ubogich, a w kościele kaplicę przyszpitalną. Obiekty uległy ostatecznemu zniszczeniu podczas wojny trzydziestoletniej, kiedy Kłodzko zostało zdobyte przez Austriaków.
Ruiny pozostawały bez opieki przez kilkanaście lat. W 1643 r. do miasta powrócili bernardyni, którzy rozpoczęli odbudowę kościoła i klasztoru, trwającą blisko 150 lat z przerwami. Zachowano gotyckie prezbiterium, zaś nawa i kaplice otrzymały wystrój późnobarokowy. Budowlę przykryto sklepieniem kolebkowym. W 1665 r. kard. Ernst Adalbert von Harrach dokonał poświęcenia nowej świątyniKłodzko. Dzieje miasta, pod red. R. Gładkiewicza, Kłodzko 1998, s. 195.. Następne oblężenie Austriaków w 1760 r. w czasie III wojny śląskiej spowodowało kolejny pożar kościoła. Po zakończeniu działań zbrojnych odbudowano wieżę oraz dobudowano drugą – skromniejszą. W 1810 r.