W 2002 po reelekcji Jacques’a Chiraca wyborach prezydenckich, 7 maja tego samego roku został mianowany ministrem spraw wewnętrznych w rządzie Jeana-Pierre’a Raffarina. Zaangażował się w utworzenie Unii na rzecz Większości Prezydenckiej, przekształconej w Unię na rzecz Ruchu Ludowego. 31 marca 2004, po reorganizacji gabinetu, objął urząd ministra stanu i jednocześnie ministra ekonomii, finansów oraz przemysłu.
Po dymisji Alaina Juppé z kierowania ludowcami, na nadzwyczajnym kongresie Nicolas Sarkozy uzyskał ponad 85% głosów, obejmując stanowisko przewodniczącego 28 listopada 2004. Dzień później zrezygnował ze stanowiska ministra, a 13 marca 2005 powrócił do sprawowania mandatu poselskiego.
31 maja 2005 powrócił do rządu. W nowo utworzonym gabinecie Dominique’a de Villepina został ministrem stanu oraz ministrem spraw wewnętrznych.
Wybory prezydenckie w 2007 14 stycznia 2007 członkowie Unii na rzecz Ruchu Ludowego zadecydowali większością 98,1% głosów, że to Nicolas Sarkozy zostanie jej jedynym kandydatem w wyborach prezydenckich w tym samym roku.