Od 1994 należał do Unii Wolności, w 2001 przystąpił do Platformy Obywatelskiej. Kierował strukturami PO w powiecie wrocławskim. Od 1998 do 2001 zasiadał w sejmiku dolnośląskim I kadencji.
W wyborach parlamentarnych w 2001 z listy PO uzyskał mandat posła na Sejm w okręgu wrocławskim. Od maja do lipca 2004 był eurodeputowanym V kadencji w ramach delegacji krajowej. W wyborach w 2004 został wybrany na posła do Parlamentu Europejskiego VI kadencji z ramienia PO z okręgu dolnośląsko-opolskiego. Przystąpił do grupy Europejskiej Partii Ludowej i Europejskich Demokratów. Był szefem sztabu wyborczego Donalda Tuska podczas wyborów prezydenckich w 2005.
W wyborach europejskich w 2009 skutecznie ubiegał się o reelekcję w wyborach do PEObwieszczenie Państwowej Komisji Wyborczej z dnia 8 czerwca 2009 r. o wynikach wyborów posłów do Parlamentu Europejskiego przeprowadzonych w dniu 7 czerwca 2009 r. ().. Został też członkiem rady Kolegium Europy Wschodniej im. Jana Nowaka-Jeziorańskiego. Od grudnia 2010 do czerwca 2012 był p.o. przewodniczącego PO w województwie dolnośląskim. Był szefem sztabu PO w wyborach parlamentarnych w 2011. W styczniu 2012 został wybrany na wiceprzewodniczącego Parlamentu Europejskiego, pełnił tę funkcję do końca VII kadencji. W październiku 2013 został przewodniczącym PO na Dolnym Śląsku.