W roku 1943 Brunner, wspólnie z innymi z załogi Eichmanna, odpowiadał za organizację deportacji Żydów greckich (m.in. 46 tys. z samych Salonik) i bułgarskich (z Tracji i Macedonii). W lipcu 1943 roku wspólnie z Heinzem Röthke kierował wywózkami Żydów z obszaru południowo-wschodniej Francji Vichy (Nicea i okolice), dotychczas okupowanych przez faszystowskie Włochy. Ofiary były najpierw kierowane do obozu przejściowego w Drancy, a stamtąd do Auschwitz-Birkenau. Pod koniec września 1944 roku przybył do Bratysławy, by nadzorować transporty resztki Żydów słowackich (około 12 tys.).
Brunnerowi należy przypisać odpowiedzialność za planowe wymordowanie dziesiątków, jeśli nie setek tysięcy ludzi, prześladowanych za odmienność rasową i zamordowanych w komorach gazowych obozów zagłady, ale także zmarłych na skutek głodu i chorób, będących rezultatem umieszczania ich w gettach. Brunner przez cały okres swego urzędowania wykonywał rozkazy swego przełożonego podpułkownika SS (SS-Obersturmbannführera) – Adolfa Eichmanna. W tym przypadku, jak i w przypadku jego przełożonego – zasada wodzostwa (Führerprinzip) – nie może być żadnym usprawiedliwieniem dla ich działalności, co zostało potwierdzone w procesie norymberskim.