Od lutego 1992 do stycznia 1994 zajmował stanowisko ministra edukacji oraz ministra ds. audiowizualnych we władzach wspólnoty francuskiej. W styczniu 1994 zastąpił zamieszanego w aferę korupcyjną Augusta Guya Coëme na stanowisku wicepremiera oraz ministra transportu i przedsiębiorstw państwowych w rządzie Jean-Luka Dehaene. W 1996 został publicznie pomówiony przez młodego geja o kontakty seksualne z nieletnimi. Elio Di Rupo został oczyszczony z tych zarzutów przez sąd, jednocześnie w trakcie tej sprawy ujawnił, że jest gejem. Sprawa ta nie wpłynęła na jego karierę polityczną, pozostał w rządzie federalnym do 1999. Od czerwca 1995 do lipca 1999 zajmował w nim stanowisko wicepremiera oraz ministra gospodarki i telekomunikacji.
W październiku 1999 objął stanowisko przewodniczącego Partii Socjalistycznej (zastąpił Philippe’a Busquina), z którego zrezygnował w 2011 po około 12 latach w związku z objęciem funkcji premiera. W głosowaniu na przewodniczącego w 1999 zdobył 71% głosów, pokonując trzech innych kandydatów. W kolejnych wyborach na tę funkcję we wrześniu 2003 i w lipcu 2007 uzyskiwał poparcie wynoszące odpowiednio 94% i 89% głosów.