8 listopada 2005 roku Peres przegrał w wewnątrzpartyjnych wyborach na lidera ugrupowania z lewicowym liderem związkowym Amirem Perecem. Miał on zamiar przywrócić bardziej lewicową orientację polityczną Partii Pracy – z tego powodu wyprowadził ją z koalicji rządowej. Z tego powodu rząd Szarona upadł, a nowe wybory w marcu 2006 roku stały się faktem. 30 listopada 2005 r. Szimon Peres ogłosił decyzję o wystąpieniu ze swego starego ugrupowania i udzieleniu poparcia premierowi, tworzącemu nową, centrową partię – Kadimę. Krótko przed wyborami Szaron zapadł w śpiączkę, a jego miejsce zajął Ehud Olmert. W wyborach w 2006 r. Partia Pracy zajęła drugie miejsce (20 mandatów), za Kadimą (29 miejsc w Knesecie). Amir Perec został ministrem obrony w rządzie Olmerta, a jego ugrupowanie otrzymało ponadto sześć ministerialnych tek.
Popularność Pereca, jak również całego rządu zaczęła stosunkowo szybko słabnąć. Było to związane m.in. z kryzysem izraelsko-libańskim w 2006 roku, jak również działaniami wojsk izraelskich skierowanych przeciwko Hamasowi, prowadzonych w Strefie Gazy. W wyniku ataku lotnictwa na Kanę w Libanie, w którym zginęło wiele dzieci, arabski deputowany do Knesetu, Ibrahim Sarsur nazwał Pereca mordercą dzieci.