Ostatnie lata w reprezentacji Herberger przygotowywał drużynę do kolejnych MŚ, wprowadzając do niej m.in. Uwe Seelera, jednego z najlepszych piłkarzy w historii niemieckiego futbolu. Na mistrzostwach w Szwecji (1958) Niemcy bez problemu wyszli z grupy (eliminując m.in. słabą wówczas Argentynę), dochodząc aż do półfinału, gdzie ulegli gospodarzom turnieju 1:3. Mecz ten wzbudził duży zawód w Niemczech, przez lata obowiązywał bojkot szwedzkich towarów. Ostatecznie zespół Seppa Herbergera po porażce 3:6 z Francją zajął 4. miejsce.
Na MŚ w Chile, w 1962 Herberger prowadził zespół po raz ostatni. W grupie łatwo uporał się z konkurentami, wyprzedzając gospodarzy, Włochów i Szwajcarię. Mundial zakończył się jednak niepowodzeniem – w ćwierćfinale RFN uległ Jugosławii 0:1. W 1964 na stanowisku selekcjonera reprezentacji Niemiec Herbergera zastąpił wieloletni asystent Helmut Schön.
Uznanie Sepp Herberger uważany jest za jednego z najwybitniejszych trenerów w historii niemieckiej piłki nożnej, jednak kontrowersje wzbudza postawa DFB oraz samego trenera w czasie dyktatury Hitlera.