W wyborach europejskich w 2009 z listy SFP uzyskał mandat posła do Parlamentu Europejskiego VII kadencji. Przystąpił do frakcji ALDE, wybrano go na wiceprzewodniczącego Komisji Rybołówstwa, zasiadł także w Komisji Budżetowej. W okresie zasiadania w PE (do 2012) wygłosił ponad 60 przemówień plenarnych, zadał około 30 pytań, a także występował jako poseł sprawozdawca.
W 2012 został wybrany na funkcję przewodniczącego Szwedzkiej Partii Ludowej, pokonując minister sprawiedliwości Annę-Maję Henriksson wynikiem 144:106 głosów i zastępując Stefana Wallina. Po wygranej ustąpił z Parlamentu Europejskiego (gdzie zastąpił go Nils Torvalds). 5 lipca 2012 zastąpił swojego poprzednika również na stanowisku ministra obrony w rządzie Jyrkiego Katainena. Pozostał na tym urzędzie również w utworzonym w 2014 gabinecie Alexandra Stubba.
W wyborach w 2015 uzyskał mandat posła do Eduskunty. 29 maja tegoż roku zakończył urzędowanie na stanowisku ministra.