W 1977 wstąpił do Sojuszu Ludowego, przekształconego w 1989 w jednolitą Partię Ludową. W 1986 zasiadał w komitecie wykonawczym partii, współtworząc statut swojego ugrupowania. Trzy lata wcześniej uzyskał mandat radnego Madrytu. W 1987 został pełniącym obowiązki sekretarza generalnego, a następnie wiceprezesem partii. W tym samym roku wybrano go najpierw do parlamentu regionalnego w Madrycie, następnie uzyskał mandat członka hiszpańskiego Senatu. W 1988 po konflikcie we władzach AP zrezygnował z partyjnych stanowisk, po powołaniu rok później PP został ponownie członkiem jej naczelnej egzekutywy. W 1993 obronił mandat senatora, dwa lata później został wybrany na prezydenta Wspólnoty Madrytu. Urząd ten sprawował przez dwie kadencje. W 2003 zachęcony przez premiera José Aznara z powodzeniem ubiegał się o urząd burmistrza Madrytu. Reelekcję uzyskiwał w 2007 i w 2011.
W 2011 uzyskał mandat posła do Kongresu Deputowanych. Zrezygnował z urzędu burmistrza w związku z nominacją na stanowisko ministra sprawiedliwości w rządzie, na czele którego stanął Mariano Rajoy.