Obok kościoła, z fundacji bp. włocławskiego Krzysztofa Szembeka (późniejszego prymasa Polski), wzniesiono w latach 1722–1746 murowany klasztor, a cały kompleks otoczono murem. Parafię pw. św. Anny erygowano 26 lipca 1775 na mocy decyzji biskupa włocławskiego, Antoniego Kazimierza OstrowskiegoZ historii parafii i kościoła franciszkanów w Smardzewicach. Niecałe sto lat później w 1864 władze carskie skasowały klasztor Franciszkanów w Smardzewicach. Była to forma represji na zakonnikach za ich pomoc udzieloną powstańcom styczniowym. Opiekę nad kościołem św. Anny przejęli księża diecezji sandomierskiej. W 1971 za zgodą bp. Piotra Gołębiowskiego, placówkę ponownie objęli franciszkanie.
Architektura Kościół wraz z przyległym do niego klasztorem tworzy czworobok. Świątynia jest budowlą barokową, orientowaną. Wyraźnie wyodrębniona jest nawa główna, natomiast prezbiterium jest nieco wyższe. Ołtarz główny św. Anny pochodzi z ok. 1700. Znajduje się w nim cudowny obraz św. Anny z I połowy XVII w. w sukienkach w stylu regencji. Na obrazie św. Anna i Matka Boża są w pozycji siedzącej, pośrodku nich Dziecię Jezus. Postacie mają na głowach złote korony. W ołtarzu znajduje się także zasłona ołtarzowa, na której umieszczony jest obraz z 1786, przedstawiający św. Annę nauczającą Maryję, obok nich św.