Następnie powrócił do Middlesbrough. Po półtoramiesięcznej nieobecności Downing zaczął częściej występować w swojej drużynie i sezon 2003/2004 zakończył z 20 ligowymi występami. W następnych rozgrywkach Anglik zaliczył już 35 występów oraz zdobył w nich pięć bramek. W sezonie 2005/2006 jego drużyna dotarła do finału Pucharu UEFA. Downing wystąpił w tym meczu, jednak jego ekipa przegrała 0-4 z Sevillą. W całym sezonie zaliczył już tylko 12 występów, strzelając przy tym jedną bramkę (w wygranym 3-0 meczu z Chelsea). Przez następne lata Downing nie stracił miejsca w wyjściowej jedenastce, występując kolejno w 34 i 38 meczach Premier League. 26 lutego 2008 roku podpisał ze swoim klubem nowy, pięcioletni kontrakt obowiązujący do 2013 roku. W sezonie 2008/2009 wystąpił w 37 ligowych spotkaniach, jednak jego zespół nie zdołał utrzymać się w Premier League. W ostatnim meczu rozgrywek doznał także kontuzji stopy.
Po spadku Middlesbrough z Premier League, 16 lipca 2009 roku Downing przeniósł się do Aston Villi za 12 milionów funtów. W nowym klubie zadebiutował 21 listopada w pojedynku z Burnley. 1 grudnia w meczu Pucharu Ligi z Portsmouth zdobył pierwszą bramkę dla Aston Villi. W sezonie 2009/2010 rozegrał 35 meczów, w których zdobył trzy gole.