W 1580 r. burgrabia zamku bydgoskiego Walenty Kołudzki ufundował murowane budynki kaplicy i szpitala. Uposażył on kościół sumą 2000 złotych polskich, zapisanych w księgach grodzkich na dobrach szlachcica Mruczyńskiego. Kołudzki będąc śmiertelnie chory dodał do tego 774 zł, które złożył w ręce Mruczyńskiego, po czym upoważnił do korzystania z tego biskupa. Zapisał także spichlerz, który dożywotnio użytkował szlachcic Mikołaj Pawłowski.
Z wizytacji biskupiej, przeprowadzonej w 1582 r. przez Hieronima Rozdrażewskiego wynika, że był to okazały, dwupiętrowy dom, kryty dachówką. Na parterze była sień, kuchnia i duża izba, zaś na piętrze pokoje dla chorych. Całość była ogrzewana piecem. Przylegała do niego kaplica, a na podwórzu był cmentarz. Pensjonariusze żywili się sami, a w piątki i niedziele wchodzili do miasta z koszami prosić o żywność. Kapelan lub prepozyt odprawiał trzy msze św. w tygodniu oraz dwie w niedziele i święta. Kościół został konsekrowany w 1582 r. przez biskupa kujawskiego Hieronima Rozdrażewskiego.
W wizytacji z 1596 r. zanotowano, że w szpitalu św. Krzyża mieszka 28 pensjonariuszy. Placówka posiadała ogród przy drodze do Poznania oraz dom na Chwytowie. Kaplica wyposażona była w jeden ołtarz oraz komplet sprzętów kościelnych.