11 listopada 2007 został jednak pokonany przez dotychczasowego lidera Jorgosa Papandreu, otrzymując około 38% głosów spośród delegatów.
7 października 2009 objął stanowisko ministra obrony narodowej w gabinecie Jorgosa Papandreu. 17 czerwca 2011 został mianowany wicepremierem oraz ministrem finansów. Zmiany w składzie rządu zostały spowodowane masowymi protestami społecznymi z powodu złej sytuacji gospodarczej kraju oraz cięciami socjalnymi koniecznymi dla otrzymania przez Grecję kolejnej transzy pożyczki od Międzynarodowego Funduszu Walutowego. Pozostał na tych stanowiskach również w rządzie Lukasa Papadimosa.
18 marca 2012 wygrał w wyborach na przewodniczącego PASOK. Zrezygnował w konsekwencji z funkcji rządowych, 21 marca 2012 odchodząc z gabinetu.
25 czerwca 2013 dołączył do rządu Andonisa Samarasa, objął w nim stanowisko wicepremiera i ministra spraw zagranicznych. Zakończył urzędowanie wraz z całym gabinetem 27 stycznia 2015. 14 czerwca tegoż roku na funkcji przewodniczącego PASOK-u zastąpiła go Fofi Jenimata.