Jego karierą polityczną zachwiało śledztwo Mani pulite prowadzone w związku z tzw. aferą Tangentopoli, które doprowadziło na początku lat 90. do upadku większości włoskich partii politycznych. Gianni De Michelis został oskarżony o szereg przestępstw korupcyjnych i następnie skazany na kary pozbawienia wolności za wręczanie łapówek i nielegalne finansowanie partii.
Do działalności partyjnej powrócił w 1996, powołując wraz z innymi dawnymi działaczami PSI Partię Socjalistyczną. Po zjednoczeniu się z Ligą Socjalistyczną został jednym z liderów Nowej Włoskiej Partii Socjalistycznej, która przystąpiła do centroprawicowego Domu Wolności.
W wyborach w 2004 uzyskał mandat posła do Parlamentu Europejskiego. W 2005 przejął władzę w NPSI, gdy sądownie unieważniono wybór Vittoria Craxiego na sekretarza partii, co doprowadziło do rozłamu u socjalistów. W 2006 został wybrany deputowanym, jednak odmówił objęcia mandatu, pozostając w PE.