W 1945 Mittag wstąpił do KPD, od 1946 członek SED. W 1947 został członkiem okręgowego kierownictwa SED w Greifswaldzie. W kolejnych latach zajmował regionalne stanowiska kierownicze w FDGB. W 1958 został sekretarzem Komisji Gospodarczej przy Biurze Politycznym KC SED. W 1962 został członkiem KC SED, w 1963 deputowanym Izby Ludowej NRD i (do 1971, a następnie ponownie w latach 1979–1989), Rady Państwa NRD. W latach 1979–1989 był członkiem Narodowej Rady Obrony NRD. W 1963 pełnił funkcję kierownika Biura Przemysłu i Budownictwa KC. W 1966 wszedł do Biura Politycznego KC. Pełnił też funkcję I zastępcy prezesa Rady Ministrów NRD (1973–1976). Kiedy został sekretarzem KC SED ds. gospodarczych w 1976, jego przywództwo w polityce gospodarczej zostało skonsolidowane, ściśle przestrzegając kontroli państwa nad gospodarką. Zwieńczeniem jego pracy było wdrożenie zmian metod zarządzania gospodarką, m.in. przez przekształcenie w 1980 dotychczasowych przedsiębiorstw państwowych VEB i zrzeszających ich zjednoczeń branżowych, z założenia w bardziej efektywne kombinaty. Mittag utrzymywał bliskie kontakty z politykami z Republiki Federalnej, m.in. z Franzem Josefem Straussem. Pełnił też obowiązki zastępcy przewodniczącego Rady Państwa NRD (1984–1989).