Po dekadzie spędzonej w Bundeslidze, 1860 niespodziewanie zakończyło sezon 2003/04 na 17. miejscu w tabeli, co oznaczało kolejny w historii spadek do 2. Bundesligi. Wildmoser poważnie zniechęcił do siebie fanów Lwów, kiedy zjednoczył się ze znienawidzonymi rywalami z Bayernu w sprawie nowego stadionu w Monachium – Allianz Arena. Obie monachijskie drużyny miały jednakowo korzystać z nowo powstałego obiektu. Kariera prezesa w klubie dobiegła końca, kiedy jego syna, Karla-Heinza juniora, przyłapano na skandalu łapówkarskim ściśle związanym z przetargami na budowę nowego stadionu.
Ostatnie pięć lat dla klubu zaczęły się mało korzystnie. Oprócz problemów natury sportowej, gdy w 2006 1860 było o krok od spadku do Regionalligi, pojawiły się także kłopoty finansowe. Wybawieniem dla księgowych klubu okazał się bogaty rywal zza miedzy – Bayern Monachium w kwietniu 2006 zapłacił klubowi 11 mln euro za połowę udziałów w stadionie, co pozwoliło znacznie poprawić bilans finansowy. Spory dochód okazał się kluczowy przy otrzymaniu licencji na grę w 2. Bundeslidze, którą przed sezonem 2006/07 klubowi przyznała federacja.