Osterberg postanowił, pod wpływem przeczytanych lektur opisujących dawną Jerozolimę z czasów Salomona, odtworzyć święte miasto na ziemi kłodzkiej. Prawdopodobnie wyjechał na Górne Łużyce, do Görlitz aby zainspirować się kopią Bożego Grobu z Jerozolimy, wykonaną przez Georga Emmericha. Najlepszym miejscem były Wambierzyce, miejscowość pielgrzymkowa i sanktuarium maryjne. Podobno w dniu 30 maja 1679 nad wambierzyckim kościołem roztoczył się nieziemski blask zorzy trwający do późnych godzin nocnych. Osterberg przyjął to jako impuls do pracy nad rozbudową centrum pielgrzymkowego. Sprowadził wybitnych architektów, stworzył koncepcję inscenizacji misteriów pasyjnych i zapoczątkował budowę najdłuższej kalwarii na Śląsku (ponad 80 stacji). Również główny kościół w Wambierzycach został zbudowany z inicjatywy Osterberga i poświęcony w 1710, jednak już po jego śmierci zaczęły się walić wieże kościelne. Kościół odbudowano na nowo, pozostawiając starą fasadę, bez wież.
Był żonaty z Elżbietą Symforozą (ur. 1639) z Traćiśte, z którą miał trzy córki i dwóch synów: Anna Konstancja była żoną Antoniego Wacława hr.