W 1990 został powołany na stanowisko sekretarza stanu w ministerstwie kultury rządu krajowego Meklemburgii-Pomorza Przedniego. Od 1994 do 1998 był szefem kancelarii premiera tego rządu Berndta Seite. W 1999, po porażce CDU w wyborach krajowych w Meklemburgii-Pomorzu Przednim, przeszedł do pracy w rządzie Saksonii. Był kolejno szefem kancelarii premiera Kurta Biedenkopfa (1999–2001), ministrem finansów (2001–2002), ministrem sprawiedliwości (2002–2004) oraz ministrem spraw wewnętrznych (2004–2005). Od 2004 do 2005 zasiadał jednocześnie w landtagu Saksonii.
W powołanym w listopadzie 2005 pierwszym rządzie Angeli Merkel, tworzonym przez tzw. wielką koalicję (CDU/CSU i SPD), objął stanowisko ministra do zadań specjalnych i szefa Urzędu Kanclerza Federalnego. W 2009 po raz pierwszy uzyskał mandat posła do Bundestagu, z powodzeniem ubiegał się o reelekcję w wyborach w 2013 oraz 2017.