W czerwcu 1941 Ohlendorf został przez Reinharda Heydricha mianowany dowódcą Einsatzgruppe D. Było to zgodne z wytyczną Heinricha Himmlera, by wszyscy wyżsi oficerowie SD spędzili część swojej służby w warunkach „wojennych” (miało to spowodować uodpornienie na widok dokonywanych przez hitlerowców zbrodni). Einsatzgruppe D działało na obszarach koło Morza Czarnego (w tym na Krymie i północnym Kaukazie). Według zeznań samego Ohlendorfa, Einsatzgruppe D wymordowała ok. 90 tysięcy ludzi do marca 1942, głównie Żydów, ale także obywateli radzieckich innych narodowości. Za swoją gorliwą służbę otrzymał wiele odznaczeń i pochwał (w propagandzie Trzeciej Rzeszy Ohlendorf był przedstawiany jako wzór młodego nazisty). Adiutant zbrodniarza, Willi Seibert, zeznał, że Ohlendorf bardzo dbał o psychikę swoich oddziałów i był zwolennikiem używania specjalnych samochodów-komór gazowych w celu mordowania ofiar, zamiast przeprowadzania masowych rozstrzeliwań.
Od 1943 Ohlendorf był dyrektorem ministerialnym w Ministerstwie Gospodarki Rzeszy i kierownikiem wydziału Ogólna Polityka Ekonomiczna.