Działał też w podziemiu. Już w pierwszych dniach 1940, na rozkaz ppłk. Stanisława Thuna – „Nawrota” („Leszcza”), członka Komendy Głównej ZWZ, przystąpił do zbierania map topograficznych. Przy końcu 1940, z inicjatywy E. Rühlego (ps. Gozdawa) i pod Jego kierunkiem zorganizowano przy Biurze Finansów i Kontroli Komendy Głównej Związku Walki Zbrojnej komórkę prowadzącą sprawy kartograficzne. W latach 1940–1941 zapotrzebowanie podziemia na mapy topograficzne szybko rosło, dochodząc w 1942 do 20 000 arkuszy rocznie.
W 1942 otrzymał za pośrednictwem cichociemnych 5 000 arkuszy map w skali 1:100 000 drukowanych w Anglii, oraz kilkaset map w skali 1:300 000 z naniesionymi szlakami kurierskimi przez Pireneje.
Zapotrzebowaniu oddziałów ZWZ–AK na mapy można było sprostać korzystając z tajnych magazynów przechowujących mapy uratowane z przedwojennej księgarni wojskowej oraz kupione lub wykradzione ze składnic niemieckich. Część ich E. Rühle magazynował w księgarni Gebethnera i Wolfa na ul. Krochmalnej, część w swoim mieszkaniu, część u szwagierki, Heleny Radliczowej, część w PIG. Wiosną 1943, w wyniku reorganizacji armii podziemnej, powstało Szefostwo służby geograficznej Armii Krajowej, ps. Schronisko. Szefem został ppłk. Mieczysław Szumański, ps. Bury, a jego pierwszym zastępcą E. Rühle, który zmienił wtedy swój pseudonim na Zawrat.