Po rozpoczęciu okupacji Francji południowej powierzono mu szefostwo nad IV sekcją (Gestapo) w komendanturze Sipo-SD (KdS) na region Rodan-Alpy kierowanej początkowo przez SS-Stubaf Rolfa Mühlera (przeniesiony do Marsylii), a następnie SS-Ostubaf dr Wernera Knaba. Jako szef Gestapo Barbie odpowiadał w miejscowej KdS za walkę z Ruchem Oporu, kontrwywiad, Holokaust, fałszerstwa oraz archiwa wywiadu, zaraz po komendancie oraz jego zastępcy SS-Ostuf Heinzu Fritzu Hollercie był najważniejszą personą hitlerowskich sił bezpieczeństwa w okupowanym Lyonie. W swoich działaniach zasłynął z dynamiczności, bezkompromisowości i okrucieństwa, m.in. odpowiadał za deportację do obozu zagłady 44 żydowskich dzieci i 7 dorosłych z Izieu, rozstrzelał 22 zakładników, w tym kobiety i dzieci, w odwecie za atak na dwóch niemieckich policjantów, a także 70 Żydów w Bron i innych wśród 120 więźniów straconych w Saint-Genis-Laval. W pierwszej połowie 1944 uczestniczył w akcjach antypartyzanckich w Jurze i Ain pacyfikując tamtejsze miejscowości. Odpowiadał także pośrednio za akcje przeciwko maquis w innych częściach regionu, m.in. nad Azergues i na Vercors.