Główne prace budowlane wykonano w latach 1644–1653 pod kierunkiem budowniczego-jezuity Wojciecha Przybyłkowicza. Rozbudowa kolegium (prawdopodobnie wówczas dobudowano aulę) nastąpiła w 1696 roku za pieniądze Jana Stefana Komorowskiego, chorążego malborskiego, brata Wojciecha, rektora bydgoskiego kolegium w latach 1688–1689. Kolejne prace budowlane wykonano w kolegium w latach 1697–1702 i 1705–1709 pod kierunkiem Wojciecha Głaznowicza. Ostatnie większe przebudowy przeprowadzono w latach 1726–1740. Obiekt wraz z kościołem jezuickim stanowił jeden z okazalszych kompleksów budynków w staropolskiej Bydgoszczy. Był ozdobą miasta, ale też przyciągał różnych dostojnych, jak i nieproszonych „gości”. W 1657 roku przebywali w nim między innymi król Jan II Kazimierz Waza z małżonką Marią Ludwiką oraz elektor Brandenburgii i książę Prus Fryderyk Wilhelm I (z żoną Luizą), a także oficerowie i generałowie armii szwedzkiej i rosyjskiej podczas zbrojnych konfliktów w XVII i XVIII wieku.