Po ukończeniu studiów podjął pracę w sanatorium w Wyk auf Föhr.

W latach 1902–1906 pracował w internacie w miejscowości Haubinda z Hermannem Lietzem, którego poznał w 1892 roku w Jenie. W 1906 roku założył wraz z Gustavem Wynekenem szkołę w Wickersdorfie, a w 1910 roku własną gminę szkolną Odenwaldschule, którą prowadził do 1934 roku. Głównym sponsorem budowy budynków szkolnych był teść Paula Geheeba, Max Cassirer (1857–1943). Po przejęciu w Niemczech władzy przez narodowych socjalistów, z powodu swoich przekonań politycznych oraz koncepcji edukacyjnych, został w 1934 roku zmuszony do opuszczenia Odenwaldschule i przeniósł się do Szwajcarii, gdzie w Versoix założył „Ecole d'Humanité”. W 1946 roku Geheeb przeprowadził się do Goldern, w którym ostatecznie znalazła siedzibę jego „Ecole d'Humanité”.

Jest autorem kilku publikacji na temat propagowanego przez siebie modelu szkolnictwa. Od 1909 roku był żonaty z Edith Cassirer (1885–1982).