4 kwietnia 2005 otrzymał od prezydenta Estonii Arnolda Rüütela misję utworzenia rządu po dymisji dotychczasowego premiera. Zawarł koalicję rządową z Estońską Partią Centrum i Estońskim Związkiem Ludowym. W tym samym miesiącu rząd został zatwierdzony przez Riigikogu, a 13 kwietnia rozpoczął funkcjonowanie. Po zwycięstwie Partii Reform w wyborach w 2007 (w których uzyskał mandat posła do Riigikogu) ponownie został desygnowany na premiera. Po nieudanych negocjacjach z dotychczasowymi partnerami utworzył gabinet przy poparciu Isamaa ja Res Publica Liit oraz Partii Socjaldemokratycznej (Sotsiaaldemokraatlik Erakond). 5 maja 2007 ponownie objął urząd premiera. Od czasu wycofania się socjaldemokratów z koalicji pozostał na czele rządu mniejszościowego. Poprowadził swoje ugrupowanie do zwycięstwa w wyborach w 2011, w których sam również został wybrany do parlamentu. 5 kwietnia prezydent Toomas Hendrik Ilves powołał ministrów trzeciego rządu Andrusa Ansipa, tworzonego ponownie przez Partię Reform i koalicyjną IRL;