W 2003 zaproponował reformę systemu rentowo-emerytalnego, co spowodowało falę strajków społecznych na ulicach wielkich miast. W tym samym roku był także krytykowany za uznawaną za opóźnioną reakcję władz na falę niespotykanych upałów. W 2004 UMP znacząco przegrała wybory regionalne, wkrótce też wchodząca w skład tzw. większości prezydenckiej Unia na rzecz Demokracji Francuskiej zapowiedziała wyjście z koalicji. 30 marca 2004 Jean-Pierre Raffarin sformował swój trzeci rząd, w którym odwołano ministrów obwinianych za poprzednie błędy. Podał się do dymisji po odrzuceniu w referendum projektu traktatu ustanawiającego Konstytucję dla Europy, przeprowadzonym w dniu 29 maja 2005. Po przyjęciu tej rezygnacji na stanowisku premiera zastąpił go Dominique de Villepin.
W tym samym roku Jean-Pierre Raffarin kolejny raz został wybrany w skład Senatu, uzyskując reelekcję w 2014. W 2007 objął funkcję pierwszego wiceprzewodniczącego Unii na rzecz Ruchu Ludowego.