Już wówczas uruchomiono małe kolegium w prowizorycznej siedzibie (inne źródła mówią o roku 1651). Prace zostały przerwane w latach szwedzkiego potopu (1655–1659), gdy jezuici zostali wygnani z miasta. Budowa kolegium została wznowiona w 1680 r. z fundacji Tomasza Działyńskiego, wojewody chełmińskiego i zasadnicze prace zakończono w roku 1684. Kolegium wspierał także Marcin Kazimierz Borowski starosta grudziądzki. Budowa kościoła, rozpoczęta pod koniec XVII w. wskutek kolejnych wojen, została ostatecznie ukończona dopiero w 1723 r. (konsekracja miała miejsce wcześniej, 3 grudnia 1721 r.). W latach 1722–1725 wzniesiono wieżę kolegium oraz skrzydło zachodnie połączone przejściem nad ulicą z jednym ze spichrzów. Pierwsza połowa XVIII w. to zarazem okres największego rozkwitu szkoły, słynnej m.in. z wystawianych w języku polskim przez uczniów sztuk teatralnych (teksty zachowane w dawnych zbiorach Biblioteki Baworowskich we Lwowie). Naukę zdobywało około 200–300 uczniów z terenu całych Prus Królewskich, a szkołę zwano Grudziądzkim Ateneum lub Kolegium Działyńskich. Kasata zakonu w Prusach nastąpiła w 1781 r. Od tego czasu z gmachu korzystało gimnazjum, w latach 1816–1891 seminarium nauczycielskie i od 1897 r. jest siedzibą władz miejskich. W 1919 r. spłonęła wieża i dach. Wieżę odbudowano w 1929 r.