Równo dziewięć miesięcy później zdobył tytuł mistrza świata IBF, pokonując przez techniczny nokaut w jedenastej rundzie pięciokrotnego zawodowego mistrza świata, Manuela Medinę. Tytuł stracił już jednak w następnej walce odbytej zaledwie dwa miesiące później, przegrywając na punkty z Gairy St. Clairem.
5 lipca 2007 w pojedynku eliminacyjnym IBF ponownie zmierzył się z Mediną. Walka zakończyła się jednak remisem w czwartej rundzie z powodu głębokiego rozcięcia skóry pod prawym okiem Mediny, spowodowanego przypadkowym zderzeniem głowami. W konsekwencji doszło do kolejnej walki eliminacyjnej, w której Baloyi zmierzył się z St. Clairem i wygrał z Australijczykiem na punkty.
Po tym zwycięstwie Baloyi został oficjalnym pretendentem do pojedynku o tytuł mistrza świata IBF. 12 kwietnia 2008 zmierzył się z dotychczasowym mistrzem, swoim rodakiem Mzonke Faną i odebrał mu pas mistrzowski wygrywając decyzją większości na punkty. 13 września tego samego roku po raz pierwszy obronił swój tytuł, pokonując przez techniczny nokaut w trzeciej rundzie z Javiera Osvaldo Alvareza.