W związku ze wzrastającą liczbą pielgrzymów kościół przebudowano w 1781 r. pod kierunkiem architekta ze Strzelec Opolskich Christopha Worbsa, który w latach 80. XVIII w. kierował także renowacją i przebudową kalwarii (dodano m.in. kolejną kaplicę, kilka innych drewnianych zamieniono na murowane). W 1810 r. klasztor uległ kasacji, a franciszkanów wysiedlono. Zakonnicy powrócili w 1860 roku, odnowili kościół, w 1868 r. dobudowali wieżę zegarową, jednak w 1875 r. znowu zostali wysiedleni, a klasztor zlikwidowano w związku z Kulturkampfem. Walce o zachowanie klasztoru oraz roli świątyni dla ludu śląskiego poświęcony jest poemat Norberta Bonczyka pt. Góra Chełmska z 1886 roku. Zakonnicy wrócili w 1887 roku. W 1897 r. powstały oba istniejące dziś neobarokowe ołtarze boczne oraz ołtarz główny autorstwa Rajmunda Kutzera (zdemontowany w 1957 roku), a w latach 1904–1905 przebudowano klasztor, m.in. jedno ze skrzydeł według projektu franciszkanina Mansuetusa Fromma OFM. Na przełomie XIX i XX w. przebywał w klasztorze jako zakonnik Chryzogon Reisch, autor monograficznej pracy o historii tutejszego klasztoru. Pod koniec XIX w. wykupiono kamieniołom nefelinitu tuż za północnym murem klasztoru, zasypano go i w latach 1912–1913 urządzono plac modlitewny oraz grotę na wzór groty z Lourdes projektu Johanna Carla Bauma.