Średniowieczny budynek klasztoru istniał niemalże przez 200 lat. Po pożarze około 1526 roku został ponownie wybudowany, ale tym razem był to budynek drewniany. W tym samym czasie kościół został gruntownie wyremontowany, zostały odbudowane ściany i założono nowy dach. Została wtedy wzniesiona wschodnia elewacja prezbiterium razem z półkolistą arkadą. W 1610 roku w czasie pożaru miasta, klasztor został niemal całkowicie spalony, a kościół został uszkodzony i musiał być wyremontowany. Dopiero w 1642 roku, gdy gwardianem klasztoru został wybrany o. Antoni Bądkowski, świątynia i drewniany klasztor zostały odbudowane, do najazdu przez Szwedów mieszkało w nim 24 franciszkanów. W 1657 roku zakonnicy opuścili miasto bojąc się zbliżających się Szwedów, którzy po wejściu do miasta spalili kompleks klasztorny. Razem z kościołem spalił się obiekt czczony przez mieszkańców miasta – cudowny obraz Matki Bożej. W 1658 roku nowym gwardianem został wybrany o. Baltazar Klonowicz. Przez sześć lat dzięki wsparciu mieszkańców odbudował prezbiterium i część klasztoru na dawnych fundamentach. Dzięki niemu, powiększony został również teren pod świątynią i klasztorem, natomiast całość plac przed klasztorem został ogrodzony. Zapewne w jego czasach został wybudowany szczyt nad prezbiterium zakończony tzw. ośli grzbietem.