Pod opieką benedyktynek W 1631 r. zabudowania objęły przybyłe z Torunia benedyktynki. Fundatorami klasztoru byli starosta pokrzywieński Jan Działyński i jego małżonka Justyna z domu Knutówna, którzy dostarczyli odpowiednich funduszy i nadań ziemskich. Już wcześniej na fali kontrreformacji dzięki Działyńskim osiadł w Grudziądzu zakon jezuitów. Pierwszą przełożoną (ksienią) benedyktynek została siostra fundatorki, Dorota Knutówna. W tym czasie wzniesiono pierwsze zabudowania klasztorne i dokonano przebudowy kościoła. Mniszki prowadziły szkołę dla dziewcząt.
Podczas potopu szwedzkiego w 1656 r. kościół spłonął i zakonnice na 3 lata przeniosły się do swoich wiejskich posiadłości. Po wojnie kościół odbudowano i powstały prowizoryczne zabudowania klasztorne. W latach 1728–1731 staraniem ksieni Heleny Gaudówny wzniesiono bardziej okazałe gmachy, próbując przy tej okazji rozebrać część sąsiednich murów obronnych (jako zasłaniających widok z okien), co spowodowało ostry konflikt z miastem. Mniszki w obronie swoich przywilejów i posiadłości, toczyły takich sporów więcej. Za rządów ksieni Elżbiety Radowickiej w latach 1749–1750 wzniesiono ozdobną furtę klasztorną, zwaną dziś Pałacem Opatek, w której podejmowano również świeckich gości, dom kapelanów, ponadto zbudowano krużganki łączące poszczególne budynki.