Od 1983 pracował w biurze frakcji SPD w Bundestagu, a od 1985 w Ministerstwie Środowiska, Planowania Przestrzennego i Rolnictwa Nadrenii Północnej-Westfalii. W latach 1986–1990 kierował biurem premiera tego kraju związkowego Johannesa Raua. Od 1990 do 1998 pracował w rządzie krajowym Szlezwiku-Holsztynu jako sekretarz stanu Ministerstwie Natury, Środowiska i Rozwoju Regionalnego (do 1992), sekretarz stanu w Ministerstwie Gospodarki, Technologii i Transportu (1992–1993) oraz minister gospodarki, technologii i transportu (1993–1998).
Od 1998 ponownie pracował w rządzie krajowym Nadrenii Północnej-Westfalii: do 2000 pełnił funkcję ministra gospodarki, przedsiębiorczości, technologii i transportu, a w latach 2000–2002 był ministrem finansów. W 2002 zastąpił Wolfganga Clementa na stanowisku premiera Nadrenii Północnej-Westfalii. Po wyborach z 22 maja 2005 utracił stanowisko na rzecz Jürgena Rüttgersa z CDU. Od 2000 do 2005 zasiadał w miejscowym landtagu.
13 października 2005 w wyniku utworzenia tzw. wielkiej koalicji CDU/CSU-SPD, został desygnowany na stanowisko ministra finansów w rządzie Angeli Merkel. Objął tę funkcję 22 listopada 2005 i wykonywał ją do 28 października 2009. Jednocześnie pełnił funkcję wiceprzewodniczącego SPD.