Zainicjował powstanie centrolewicowej koalicji pod nazwą Drzewo Oliwne, opowiadał się za odejściem od haseł marksistowskich i głoszeniem programu umiarkowanie socjalistycznych. Nawiązał współpracę z partiami liberalnymi i chadeckimi (w tym Włoską Partią Ludową). W 1998 stanął na czele Demokratów Lewicy, stronnictwa powstałego w oparciu o PDS i małe ugrupowanie lewicowe.
21 października 1998 objął urząd premiera Włoch, zastępując Romana Prodiego i rezygnując w związku z tym z kierowania partią. Stanowisko to zajmował do 25 kwietnia 2000 (kierując formalnie dwoma kolejnymi gabinetami), kiedy to po szeregu konfliktów w koalicji misję utworzenia nowego rządu otrzymał Giuliano Amato.
W 2004 poprowadził lewicę do zwycięstwa w wyborach do Parlamentu Europejskiego, również uzyskując mandat europosła. Dwa lata później powrócił do Izby Deputowanych XV kadencji. W drugim rządzie Romana Prodiego od maja 2006 do maja 2008 pełnił funkcję wicepremiera oraz ministra spraw zagranicznych.
W 2007 przystąpił do nowo powołanej Partii Demokratycznej. W przedterminowych wyborach parlamentarnych w następnym roku został posłem XVI kadencji. Mandat wykonywał do 2013, kiedy to nie ubiegał się o reelekcję.