Pierwsza wzmianka dotycząca kościoła pojawia się w dokumencie odpustowym z 1350 roku. Wymienia on świątynie pod wezwaniem Najświętszej Maryi Panny i św. Franciszka.
W czasie wojen husyckich franciszkanie musieli w 1427 roku opuścić kościół oraz swoje posiadłości na Piasku, co wynikało z tego, iż był to teren niezabezpieczony murami miejskimi. Przenieśli się w obręb murów, gdzie w 1432 roku między ulicą Niską a Łukasińskiego zbudowali niewielki kościół i klasztor. Ten ostatni spłonął w 1463 roku, a świątynia została poważnie uszkodzona. Po tym wydarzeniu przed 1475 rokiem franciszkanie wrócili na Wyspę Piasek.
Nie wiadomo, w jakim stanie udało się franciszkanom odbudować zabudowania kościelno-klasztorne na Piasku, ponieważ na początku XVI wieku zgromadzenie poszło w rozsypkę. Budynki i włości zakonne zostały przejęte przez władze Kłodzka. Po pewnym czasie popadły one w ruinę, w związku z czym rozebrano je pozostawiając wyłącznie prezbiterium kościoła, które służyło jako kaplica pogrzebowa, a ogród przyklasztorny przekształcono w cmentarz.