W 1940 został przez Himmlera powołany na stanowiska szefa Głównego Urzędu SS (SS-Hauptamt), który zajmował się głównie werbunkiem do SS, a zwłaszcza formowaniem cudzoziemskich oddziałów Waffen-SS. Również w 1940 został szefem sztabu Himmlera do spraw wojskowych. Berger okazał się na tych stanowiskach rzutkim i bezwzględnym organizatorem. W 1942 został także osobistym przedstawicielem Himmlera przy Ministerstwie Rzeszy do spraw Okupowanych Terytoriów Wschodnich, które zajmowało się zarządzaniem okupowanych ziem ZSRR i kierowane było przez Alfreda Rosenberga. W sierpniu 1943 został wybrany jako poseł do Reichstagu z okręgu wyborczego Düsseldorf-Wschód oraz został prezydentem Związku Niemiecko-Chorwackiego. 20 lipca 1944 otrzymał jeszcze jedną wysoką funkcję, zostając Generalnym Inspektorem do spraw Jeńców Wojennych.

31 sierpnia 1944 powołano go na stanowisko dowódcy sił mających stłumić powstanie narodowe na Słowacji. Jego zadaniem była pacyfikacja miejscowej ludności oraz zachowanie marionetkowego rządu, współpracującego z III Rzeszą. Z powodu braku sukcesów został odwołany ze stanowiska 19 września i zastąpiony przez , który stłumił powstanie. Berger został oddelegowany do Niemiec z zadaniem tworzenia oddziałów Volkssturmu.