W latach 1969–1982 pracował jako wykładowca akademicki, był m.in. dziekanem wydziału ekonomicznego Uniwersytetu Complutense w Madrycie. W 1987 wszedł w skład władz centralnych Partii Socjalistów Katalonii, a w 1992 do ścisłego kierownictwa PSOE. Był radnym Madrytu i posłem do regionalnego parlamentu (od 1979 do 1982). W latach 1986–2004 zasiadał w Kongresie Deputowanych. W rządach Felipe Gonzáleza był sekretarzem stanu w resorcie finansów (1984–1991), następnie ministrem robót publicznych i transportu (1991–1993) oraz ministrem robót publicznych, transportu i środowiska (1993–1996). Wchodził później w skład Konwentu Europejskiego.
W wyborach w 2004 uzyskał mandat posła do Parlamentu Europejskiego. Przystąpił do Grupy Socjalistycznej, od lipca 2004 do stycznia 2007 był przewodniczącym Europarlamentu, w którym zasiadał do 2009. W styczniu 2010 został prezydentem European University Institute we Florencji.
W czerwcu 2018 powrócił do administracji rządowej, obejmując stanowisko ministra spraw zagranicznych, europejskich i kooperacji w nowo utworzonym rządzie Pedra Sáncheza.