W konsekwencji komisja stanowa NSAC zawiesiła go na cztery miesiące oraz ukarała finansowo na kwotę 7500 dolarów, a sam Sylvia zrezygnował z pasa mistrzowskiego wagi ciężkiej.
19 czerwca 2004, na UFC 48, próbował bezskutecznie odzyskać tytuł w walce z Frankiem Mirem. Pod koniec pierwszej minuty starcia Mir złamał mu rękę, zakładając dźwignię na staw łokciowy. Sędzia ogłosił techniczne poddanie i tym samym Mir został nowym mistrzem wagi ciężkiej.
thumb|180px|left|Tim Sylvia 5 stycznia 2005 roku, Sylvia stoczył pojedynek o tymczasowe mistrzostwo wagi ciężkiej. Przegrał jednak z Białorusinem Andrejem Arłouskim przez poddanie (klucz na stopę). Do rewanżu doszło 15 kwietnia 2006 roku na gali UFC 59. Tym razem zwycięzcą okazał się Amerykanin, nokautując w pierwszej rundzie Białorusina, odbierając mu tym samym pas. 8 lipca 2006 roku, w pierwszej obronie mistrzostwa zmierzył się ponownie z Arłouskim. Po pięciorundowym pojedynku sędziowie orzekli jednogłośnie zwycięstwo Sylvii. Jeszcze w tym samym roku, 18 listopada, drugi raz obronił pas mistrzowski, pokonując przez jednogłośną decyzję Jeffa Monsona. Tytuł stracił na gali UFC 68, 3 marca 2007 na rzecz Randy’ego Couture’a.