Po wyrównanej walce Taylor wygrał niejednogłośną decyzją sędziów.
29 września 2007 stracił swoje tytuły mistrzowskie, przegrywając przez techniczny nokaut w siódmej rundzie z Kelly Pavlikiem (mimo że w drugiej rundzie Pavlik leżał na deskach). 16 lutego 2008 doszło do walki rewanżowej między oboma pięściarzami. Stawką pojedynku nie były pasy mistrzowskie WBC i WBO, ponieważ strony ustaliły limit wagowy przewyższający kategorię średnią i wynoszący 166 funtów. Walkę wygrał ponownie Pavlik, tym razem na punkty po jednogłośnej decyzji sędziów.
15 listopada 2008 pokonał na punkty Jeffa Lacy w pojedynku eliminacyjnym WBC w kategorii super średniej. 25 kwietnia 2009 w walce o mistrzostwo świata WBC w kategorii super średniej Taylor przegrał przez techniczny nokaut w ostatniej, dwunastej rundzie z Carlem Frochem. Froch już w trzeciej rundzie był liczony i przegrywał całą walkę na punkty, jednak w ostatniej rundzie najpierw położył Taylora na deski, a na czternaście sekund przed końcem pojedynku zdołał go znokautować, broniąc tym samym mistrzowskiego pasa.