Sprowadzenie bernardynów i budowa kościoła Stryj fundatora, również Mikołaj Kościelecki, dziekan gnieźnieński, sfinansował budowę murowanego kościoła i niewielkiego klasztoru dla bernardynów, których postanowił tu sprowadzić. W 1498 r. Władysław z Gielniowa, wikariusz bernardynów, przyjął fundację, by latach 1501–1504 pełnić funkcję przełożonego tutejszej wspólnoty. Gotycki kościół i klasztor nie spełnił jednak wymogów rozrastającej się placówki z powodu napływu rzesz pielgrzymów. W latach 1508–1510 wybudowano nowy klasztor, a następnie kościół, który pochłonął starą budowlę. Został on konsekrowany w 1511 r. przez Mikołaja Kościeleckiego, podówczas już biskupa chełmińskiego.
Kompleks klasztorny był stopniowo rozbudowywany. W 1524 r. została ukończona kaplica św. Anny, znajdująca się po północnej stronie nawy głównej. W latach 1726–1732 z inicjatywy wojewody kujawskiej Michała Działyńskiego i o. Serafina Gamalskiego, gwardiana klasztoru, dodano krużganki ze stacjami drogi krzyżowej. Obrazy do nich wykonał br. Jacek Uzdowski, malarz zakonny. Uległy one zniszczeniu;