Ufając zapewnieniom o ochronie Hitlera, po krótkim pobycie z matką i siostrą w Düsseldorfie, Hess przeprowadził się z rodziną w połowie 1940 roku do bawarskiego Unterwössen koło Traunstein. Pod koniec czerwca 1941 roku został wezwany do stawienia się w Urzędzie ds. Aryzacji w Monachium, gdzie poinformowano go, że pismo o ochronie straciło ważność w maju 1941 roku i odtąd ma on być traktowany jak inni Żydzi. Prawdopodobnie zmiana statusu Hessa wynikała z faktu, że Wiedemann wypadł z łask Hitlera i został wysłany na stanowisko konsula generalnego w San Francisco.
Hess został deportowany do obozu koncentracyjnego dla Żydów Milbertshofen w pobliżu Monachium, gdzie był robotnikiem przymusowym. Później został przydzielony do firmy budowlanej jako robotnik. W latach 1943–1945 przymusowo pracował jako pomocnik hydraulika. Przed deportacją do obozu śmierci ochroniło go jedynie małżeństwo z Niemką. W tym czasie jego żona przebywała na wolności, a córka była robotnikiem przymusowym w fabryce w Monachium. Ponadto matka i siostra Hessa zostały w ramach represji na Żydach wywiezione do Theresienstadt, skąd młodsza z nich została wysłana do komory gazowej w Auschwitz.