W wyborach w 2005 po raz pierwszy uzyskał mandat deputowanego do Bundestagu. Od listopada 2005 do października 2009 był ministrem środowiska, ochrony przyrody i bezpieczeństwa reaktorów atomowych w pierwszym rządzie Angeli Merkel tworzonym przez koalicję CDU/CSU i SPD.
W 2009 utrzymał mandat poselski na kolejną kadencję. Socjaldemokraci przeszli wówczas do opozycji wobec nowego gabinetu dotychczasowej kanclerz. 13 listopada 2009 Sigmar Gabriel zastąpił Franza Münteferinga na funkcji przewodniczącego federalnych struktur Socjaldemokratycznej Partii Niemiec, stając się tym samym liderem opozycji. W kampanii wyborczej w 2013 publicznie wzywał Zielonych do zawiązania porozumienia przeciwko Angeli Merkel.
Po wyborach, w których ponownie został wybrany do Bundestagu, doszło jednak do odnowienia po czterech latach koalicji chadeków i socjaldemokratów. W grudniu 2013 w trzecim gabinecie Angeli Merkel lider socjaldemokratów został wicekanclerzem oraz ministrem gospodarki i energii. W styczniu 2017 przeszedł na urząd ministra spraw zagranicznych. W marcu 2017 na funkcji przewodniczącego SPD zastąpił go Martin Schulz. W tym samym roku utrzymał mandat deputowanego na kolejną kadencję.