wkrótce miał jej więcej niż potrzebował i karmił ptaki i zwierzęta. Darowaną odzież rozdawał żebrakom. W jakiś czas potem został rozpoznany i zawiadomiona rodzina przesłała mu różne rzeczy, które odesłał z powrotem i odmówił także powrotu do domu rodzinnego. Kilkakrotnie zmieniał też pustelnie.
W 1797 Ryōkan zamieszkał w pustelni Gogō znajdującej się w gęstym lesie starych sosen i cedrów z klasztorem Kokujō na górze Kūgami. Przebywał tam do 1802. Następnie zamieszkiwał w kilku okolicznych klasztorach szkoły shingon. Do Gogō-an powrócił w 1804 i przebywał w niej do 1816. Jego celem jako pustelnika nie było jednak zupełne odcięcie się od świata i ludzi. Pragnął iść drogą Buddy, który potrafił spokojnie przechodzić pomiędzy sacrum i profanum. W jakiś sposób szedł także drogą dawnych patriarchów zen, którzy medytowali daleko w górach. Z wierszy powstałych w tym okresie wynika, że jego najbliższym towarzyszem stała się natura.
Według Dziesięciu obrazków pasterskich kulminacją praktyki zen jest powrót na rynek z rozdającymi radość rękami.