W XVII wieku klasztor rozbudowano, powstał m.in. ciąg krużganków łączących klasztor z kościołem. W końcu XVIII wieku, po przejściu Bydgoszczy pod władzę pruską krużganki zburzono. W latach 30. i 40. XVIII wieku odrestaurowano część zabudowań klasztoru. Wizja lokalna przeprowadzona w 1760 r. ujawniła, że klasztor Klarysek posiadał spory zasób dóbr: gorzelnię (od 1751 r.), stajnie, wozownie, browar, staw rybny oraz ogrody.
Szpital Miejski W styczniu 1834 r. władze pruskie ogłosiły kasatę klasztoru klarysek, a w 1837 r. klasztor wraz z kościołem przeszły na własność miasta. Budynki klasztorne przeznaczono na szkołę, ale ostatecznie założono w nich pierwszą Lecznicę Miejską. Początkowo w zaadaptowanych salach udało się umieścić 28 łóżek, a w połowie XIX w. nastąpiła przebudowa wnętrz budynku w celu ich adaptacji dla potrzeb szpitala. W latach 1861–1863 rozdzielono również kościół od dawnego budynku klasztornego poprzez wyburzenie łącznika wraz z bramą.