W tym samym roku zdobył też bardziej prestiżowy tytuł IBF, pokonując Michaela Nunna (10 maja 1991).
Mistrz świata w kategorii super średniej Toney przeniósł się wkrótce do wagi super średniej i zdobył w niej mistrzostwo IBF w walce z Iranem Barkleyem (13 lutego 1993). Stoczył trzy zwycięskie walki w obronie tytułu (w tym jedną z byłym mistrzem świata IBF w wadze średniej Charlesem Williamsem), zanim zmierzył się w obronie pasa IBF w wadze średniej z Royem Jonesem Jr. (18 listopada 1994) przegrywając przez jednomyślną decyzję sędziów (w 3. rundzie nokdaun Toneya). Była to pierwsza porażka Jamesa Toneya na zawodowych ringach.
Mistrz świata kategorii junior ciężkiej W sierpniu 2002 Toney pokonał Jasona Robinsona w walce eliminacyjnej do starcia o mistrzostwo świata IBF, będącego w posiadaniu Wasilija Żyrowa. Walka między nimi doszła ostatecznie do skutku 26 kwietnia 2003. Toney wygrał przez jednogłośną decyzję sędziów, posyłając na deski niepokonanego wcześniej Żyrowa w 12. rundzie.