W budynkach poklasztornych w latach 1852–1865 istniał dom poprawczy dla tzw. księży zdrożnych. Następnie znajdujące się w ruinie budynki opactwa władze rosyjskie przekształciły w więzienie. Status budowli utrzymały władze polskie. Od 1918 istniało tu polskie więzienie ciężkie, odbywali w nim karę m.in. Sergiusz Piasecki i Stepan Bandera. Uważane było za najcięższe więzienie w Polsce, dla szczególnie niebezpiecznych przestępców. 20 września 1925 doszło tam do buntu i próby ucieczki 17 więźniów, którzy zdobyli broń. Bunt zdławiono, zginęło 6 buntowników, jeden niezaangażowany więzień i jeden strażnik. Już w 1936 przybyli tu zakonnicy Misjonarze Oblaci Maryi Niepokalanej, którzy przejęli część klasztoru. Wybuch wojny przerwał jednak prace nad odrodzeniem klasztoru. Podczas wojny Niemcy utworzyli tu obóz zagłady jeńców radzieckich. Liczbę ofiar szacuje się na 7–8 tysięcy, a ich zbiorowa mogiła znajduje się na polanie pod szczytem. W 1961 budynki po więzieniu przejął Świętokrzyski Park Narodowy. Aktualnie w części budynku mieści się nowicjat Zgromadzenia Misjonarzy Oblatów M.N.