Yamabushi zaczynali jako yamahōshi, izolowane społeczności (lub jednostki) górskich eremitów, ascetów i "świętych mężów", którzy podążali ścieżką shugendō w poszukiwaniu duchowych, mistycznych lub ponadnaturalnych mocy uzyskiwanych poprzez ascezę. Możliwe, że ta droga nie miała założyciela, ponieważ mity otaczające En-no Gyōja są liczne i złożone, przez co przypomina on japońskiego Merlina. Ludzie, którzy zdecydowali się na tę ścieżkę, byli rozmaicie nazywani, między innymi: kenja, kenza i . Ci górscy mistycy zaczęli być poważani ze względu na ich zdolności magiczne i wiedzę okultystyczną. Poszukiwano ich jako uzdrowicieli lub medium, znanych jako miko.
Większość tych ascetów, poza poświęceniem shugendō studiowało nauki buddyjskiej sekty tendai lub sekty shingon, założonej w VIII wieku przez Kōbō Daishi. Shingon była jedną z głównych sekt lub ezoterycznego buddyzmu, według którego oświecenie można odnaleźć poprzez izolację, studia i kontemplację siebie, natury i ezoterycznych obrazów nazywanych mandala. Obie sekty uważały góry za idealne miejsce dla tego typu izolacji i kontemplacji. W swoich górskich pustelniach mnisi studiowali nie tylko naturę, religijne teksty i obrazy, ale także różne sztuki walki.