Podczas rozbiorów zakonnicy zostali zmuszeni do opuszczenia pustelni. Kilku zakonników jednak potajemnie pozostało, wbrew nakazowi władz carskich (w 1819 roku formalnie doszło do kasaty klasztoru). W 1805 roku w Bieniszewie i w pobliskim Kazimierzu Biskupim obchodzono 800-lecie śmierci Pięciu Braci Męczenników (według Żywotu św. Piotra Damianiego męczennicy zginęli w 1005 roku)Henryk Samsonowicz, Legenda Białych Braci, wyd. 1, Kraków: Biały Kruk, 2009, . W 1846 roku zmarł w Bieniszewie ostatni mnich o. Karol Pianowski. Majątek klasztorny podlegający administracji carskiej był grabiony i dewastowany. W tym okresie mszę świętą odprawiano tylko kilkanaście razy w roku. Po powstaniu listopadowym w związku z ograniczeniami wprowadzonymi przez Rosjan, Eucharystię sprawowano tylko 8 września w święto Narodzenia NMP, by uczcić Maryję w cudownym obrazie.
1 marca 1863 roku niedaleko zabudowań klasztornych doszło do zwycięskiej bitwy z wojskami carskimi. Powstańcami dowodził wtedy Kazimierz Mielęcki.