W sąsiedztwie kaplicy opat Rosa wzniósł na stawie drewniany pawilon letni. Pawilon służył też jako kąpielisko, ze względu na lecznicze właściwości wód ze źródła i stawu. Po sekularyzacji dóbr klasztornych w 1810 r. cały zespół podupadł, a kaplicę zamieniono na magazyn (według niektórych zapisków na piwiarnię). Dopiero potem przebudowano jej wnętrze w obecnej postaci. W XIX w. Betlejem stało się popularnym celem wycieczek z Krzeszowa, wówczas wzniesiono też obszerną gospodę z ogródkową restauracją, która miała też 8 miejsc noclegowych. Od dawna w Betlejem istniała leśniczówka. W 1907 r. na stawie urządzono ujęcie wody dla Kamiennej Góry.
Po 1945 r. Betlejem zmieniło swój charakter, tracąc funkcję sakralną. Zaprzestała działalności gospoda, a w jej zabudowaniach ulokowano ośrodek wczasowo-kolonijny. W zabudowaniach leśniczówki umieszczono nadleśnictwo, obejmujące znaczną część Gór Kruczych. Dopiero w ostatnich latach trwały próby przywrócenia pierwotnego charakteru, m.in. przeprowadzono konserwacje pawilonu opackiego. Zabezpieczono też kaplicę betlejemską.