5 grudnia 1480 r. biskup włocławski Zbigniew Oleśnicki erygował w Bydgoszczy klasztor bernardynów (franciszkanów-obserwantów) – trzeci konwent w Polsce po Krakowie i Warszawie. Oficjalnymi fundatorami byli: król Kazimierz Jagiellończyk, Hińcza z Rogowa, Jarand z Grabi i Brudzewa, starosta bydgoski Jan Kościelecki oraz mieszczanie bydgoscy.
Tak pisał o założeniu klasztoru kronikarz bernardyńskiZajączkowska Tamara: Tajemnice krypty klasztornej – czyli o interesujących odkryciach archeologicznych w kościele garnizonowym pod wezwaniem Najświętszej Marii Panny Królowej Pokoju w Bydgoszczy. In. Materiały do dziejów kultury i sztuki Bydgoszczy i regionu. Zeszyt 6. Bydgoszcz 2001:
Pierwsza świątynia Budowę kościoła pw. św. Hieronima i św. Franciszka ukończono w 1485 r., a w 1488 r. istniała już biblioteka klasztorna. O tym, że pierwotna świątynia była murowana świadczą zapiski z zachowanej kronika bernardynówKantak Kamil. Kronika bernardynów bydgoskich. In. Roczniki Towarzystwa Przyjaciół Nauk Poznańskiego. t. XXXIII. Poznań 1907: „Bracia zakonni po otrzymaniu zgody na budowę konwentu, sami wykonywali cegły, przygotowywali wapno, zwozili kamienie, karczowali krzaki”.