Po II rozbiorze Polski szkołę przekształcono w gimnazjum, potem podzielono na dwa (gimnazjum im. Fryderyka Wilhelma i gimnazjum Św. Marii Magdaleny), a budynek stał się siedzibą władz zaborcy. 23 października 1805 przebywał tu cesarz rosyjski Aleksander I w towarzystwie feldmarszałka Piotra Tołstoja i księcia Adama Czartoryskiego. Spożył tu obiad i uczestniczył w musztrzeZygmunt Boras, Lech Trzeciakowski, W dawnym Poznaniu, Wydawnictwo Poznańskie, Poznań, 1971, s. 234–235.. W ręce polskie obiekt ponownie przeszedł w 1806 roku. Wówczas, w listopadzie, przez niemal trzy tygodnie Kolegium stanowiło centrum ówczesnego świata – stało się kwaterą Napoleona Bonaparte. Po kongresie wiedeńskim budynek stał się siedzibą namiestnika Wielkiego Księstwa Poznańskiego, księcia Antoniego Henryka Radziwiłła. Funkcję tę pełnił do likwidacji autonomii w 1830 roku. Na dworze księcia gościło wiele sław, m.in. Fryderyk Chopin (1829) i Arthur Wellesley książę Wellington, pogromca Napoleona w bitwie pod Waterloo (1826).
W 1830 gmach zajęły pruskie urzędy Prowincji Poznań.