W lutym 1995 zainicjował powołanie centrolewicowej koalicji pod nazwą Drzewo Oliwne. Sojusz ten zwyciężył w wyborach parlamentarnych w 1996, a jego lider uzyskał wówczas mandat posła do Izby Deputowanych XIII kadencji. 17 maja 1996 Romano Prodi objął urząd premiera, który sprawował do 21 października 1998, kiedy to zastąpił go Massimo D’Alema. Ustąpił w związku z opuszczeniem koalicji rządowej przez Odrodzenie Komunistyczne. Zaangażował się następnie w tworzenie nowego liberalnego ugrupowania pod nazwą Demokraci.
W marcu 1999 Romano Prodi został nominowany na przewodniczącego Komisji Europejskiej. Stanowisko to objął 16 września 1999 i zajmował do listopada 2004. W okresie pełnienia przez niego tej funkcji do Unii Europejskiej przystąpiło dziesięć nowych państw, obradował Konwent Europejski i podpisano traktat ustanawiający Konstytucję dla Europy.