Alkantarzyści otrzymali w darze od mistrza rzeźnickiego, radnego Franciszka Schneidera, kawałek ziemi o powierzchni, 12 morgów, położony w lasku poza miastem w okolicy Koziej Góry.
Zakonnicy 22 marca 1852 rozpoczęli budowę klasztoru, którą ukończono w lipcu. 9 sierpnia 1852 biskup poświęcił klasztor z kaplicą. W klasztorze poza kaplicą mieściła się zakrystia, furta, refektarz z kuchnią i 9 małych pokoi zakonnych. Alkantarzystom nie układała się współpraca z nowym wrocławskim biskupem Heinrichem Försterem. W wyniku konfliktu z księżami diecezjalnymi w lutym 1855, alkantarzyści, z nakazu biskupa Förstera, opuścili klasztor w Prudnickim Lesie.
Przez cztery lata klasztor pozostawał pusty. Do opuszczonego klasztoru w 1859 wprowadził się pustelnik Wilhelm Weber.
Fundator, Franciszek Schneider oraz prudnicki proboszcz ks. Nippel 20 kwietnia 1861 zwrócili się do biskupa z prośbą o przekazanie klasztoru franciszkanom. W 1863 franciszkanie ówczesnej prowincji saksońskiej przejęli klasztor wraz z kaplicą. Pierwszym przełożonym klasztoru został o. Wiktor Albers pochodzący z Westfalii. 19 marca 1866 położono kamień węgielny pod budowę nowego kościoła klasztornego pod wezwaniem św. Józefa. Uroczystego poświęcenia dokonał 17 grudnia proboszcz Nippel, a pierwszą sumę odprawił Bonawentura Menzel.