Cała rodzina ostatecznie połączyła się w ówcześnie podberlińskim Friedenau, gdzie mieszkali pięć lat. Z Afryki również powrócił bardzo zamożny kawaler i przyjaciel Heinricha (pochodzący z rodziny żydowskiej) – (w okresie 1908–1919 używający nazwiska Ritter von Mauternburg), który był chrzestnym całej piątki dzieci Heinricha. Epenstein kupił mały zamek, zwany Veldenstein, położony koło Norymbergi i zaprosił całą rodzinę Göringów do zamieszkania z nim. Hermann później wspominał Veldenstein jako gniazdo rodzinne; ukształtowały go romantyczne zamki i teutońskie legendy. Matka Hermanna prawie piętnaście lat była kochanką Epensteina. W 1913, po tym, jak Epenstein zawarł związek małżeński Göringowie musieli opuścić zameczek Veldenstein i przeprowadzili się do Monachium, gdzie żyli bardzo skromnie.
Hermann był wydalany ze wszystkich szkół z powodu nadmiernej skłonności do bójek i zbyt nieugiętego charakteru. Uczył się m.in. w szkole o zaostrzonej dyscyplinie w Karlsruhe, później w szkole kadetów w Berlinie-Lichterfelde. Po ukończeniu szkoły z doskonałym wynikiem i praktyce otrzymał stopień podporucznika w 1912 roku.