W 1642 biskup przyjął jako współfundatora wielkiego kanclerza koronnego Jerzego Ossolińskiego, a po śmierci biskupa w 1646 całość zobowiązań finansowych dźwigał Ossoliński.
Budowę kościoła św. Krzyża ukończono w 1649 roku. 27 maja tego roku został poświęcony przez archidiakona warszawskiego, a uroczysta konsekracja wraz z kolegium nastąpiła w roku 1653Pawlak Marian: Kolegium Jezuickie w Bydgoszczy (1619-1780). [w.] Kronika Bydgoska XXX 2008. Towarzystwo Miłośników Miasta Bydgoszczy. Bydgoszcz 2009. ISSN 0454-5451.
Była to budowla pierwotnie manierystyczna, bezwieżowa, jednonawowa, z prezbiterium i dwiema kaplicami: Matki Boskiej i św. Józefa. W 1650 rozpoczęto budowę wieży północnej. Na sztychu Erika Dahlberga z 1657 roku widnieje ona w pełni wykończona. Wieżę południową zbudowano w latach 1691–1695 z fundacji chorążego malborskiego Jana Komorowskiego. Obie zwieńczone miedzianymi hełmami barokowymi miały 48 metrów wysokości i stanowiły dominantę w krajobrazie miasta.
W czasie potopu szwedzkiego świątynia została splądrowana. Ponowny rozwój klasztoru przypada na II połowę XVII wieku;