Wkrótce z Krakowa przybyli pierwsi mnisi należący do Kongregacji Eremitów Kamedułów Góry Koronnej, którzy zamieszkali gościnnie u ojców bernardynów w Kazimierzu Biskupim, potem zaś w Gosławicach, prowadząc jednocześnie starania związane z budową pierwszych zabudowań klasztornych. Fundacja dokonana przez Kadzidłowskiego została potwierdzona w dokumencie królewskim wystawionym 1 sierpnia 1663 roku.
Początkowo wzniesiono kościół drewniany, którego budowa zakończyła się w 1672 roku. Jednak już 17 października 1666 roku została odprawiona na terenie Eremu pierwsza msza święta przy licznym udziale wiernych. W 1741 roku w klasztorze wybuchł pożar, w wyniku którego spłonęła znaczna część kościoła z głównym ołtarzem oraz cudownym obrazem Matki Bożej Pocieszenia z Dzieciątkiem. Cudowny obraz został zastąpiony nowym wizerunkiem, czczonym również przez okoliczną ludność. Przygotowania do wzniesienia murowanego kościoła pod wezwaniem Narodzenia NMP prowadzono od 1747 roku. Jednak ze względu na bardzo skromne fundusze, znaczące prace budowlane wykonano dopiero w latach 1760-1781. Świątynia została dedykowana 14 maja 1797 roku.