W 1998 został po raz pierwszy wybrany do Tweede Kamer, niższej izby Stanów Generalnych. Uzyskiwał reelekcję w kolejnych wyborach do holenderskiego parlamentu. Od 2007 do 2010 był sekretarzem stanu w MSZ w gabinecie Jana Petera Balkenende. 5 listopada 2012 powierzono mu funkcję ministra spraw zagranicznych w drugim rządzie Marka Rutte.
Zakończył urzędowanie 17 października 2014 w związku z nominacją (od 1 listopada tego samego roku) na urząd pierwszego wiceprzewodniczącego oraz komisarza ds. lepszej regulacji, rządów prawa i Karty Praw Podstawowych w nowej Komisji Europejskiej, na czele której stanął Jean-Claude Juncker. W 2019 był kandydatem Partii Europejskich Socjalistów na przewodniczącego nowej Komisji Europejskiej. W wyborach europejskich w Holandii stał na czele listy wyborczej Partii Pracy, uzyskał mandat eurodeputowanego IX kadencji; faktycznie nie przystąpił jednak do wykonywania obowiązków poselskich (jego mandat wygasł w dniu rozpoczęcia kadencji 2 lipca 2019).