Przy stężyckim klasztorze działały charakterystyczne dla duszpasterstwa franciszkanów bractwa religijne. Źródła wymieniają Stężycę wśród ośrodków Bractwa Paska św. Franciszka oraz Bractwa św. Antoniego Padewskiego. Z działalnością drugiego z nich wiązał się rozwinięty w kościele kult św. Antoniego, którego XVII-wieczny obraz zachował się w wyposażeniu obecnej świątyni.
Położony blisko Wisły kościół i klasztor był stale zagrożony przez zmieniające się koryto rzeki. Od 1737 nurt Wisły przebiegał już bezpośrednio pod zabudowaniami klasztornymi. 20 czerwca 1749, podczas gwałtownego wezbrania, rzeka podmyła fundamenty i kościół wraz z klasztorem zawaliły się do Wisły. Zakonnicy przenieśli wówczas nabożeństwa do kościoła parafialnego pw. św. Marcina.
W 1751 na terenie przekazanym franciszkanom przez mieszczan rozpoczęto budowę nowego zespołu, położonego dalej od rzeki. Z powodu niewystarczających środków powstały drewniane kościół i klasztor na murowanych fundamentach. Zabudowania te spłonęły w nocy z 25 na 26 listopada 1790 roku.
Po pożarze, staraniem gwardiana Marcelego Jurkiewicza, rozpoczęto wznoszenie obecnie istniejącego murowanego kościoła pod wezwaniem Przemienienia Pańskiego.