Bodhidharma i Szaolin mały|Portret Bodhidharmy i kaligrafia autorstwa Miyamoto Musashi. Bodhidharma po opuszczeniu cesarskiego dworu udał się do klasztoru Szaolin w prowincji Henan, jednak nie został przyjęty. Osiadł w jaskini znajdującej się niedaleko klasztoru. Grota ta istnieje do dziś i jest jedną z atrakcji turystycznych. Tam przez dziewięć lat siedział twarzą do ściany. W tym okresie napisał swoje dzieło "Nauczanie zen". Wspomina o tym monografia Daoxuana z 645 roku, w której stwierdzono, że to sam Bodhidharma je rozpropagował. Najstarszą odnalezioną wersję tekstu Bodhidharmy datuje się na VII lub VIII wiek.
Bodhidharma miał niewielu uczniów, bo zaledwie czterech. Uczniem, którego mianował swym następcą (drugim patriarchą) był Huike.
Gdy miał już następcę udał się do świątyni Zhesong, by tam nauczać Dharmy. Bodhidharma wszedł w nirwanę ok. 540 roku (jedno ze źródeł podaje rok 536). Źródła podają bardzo różną długość jego życia: od 57 do 150 lat. Ciało zostało pochowane w świątyni Xiong’er Shan (熊耳山, Góra Niedźwiedziego Ucha) w prowincji Henan. Na cześć Bodhidharmy została wzniesiona stupa, nazwana Ding Lin.