Ostatni raz tytuł obronił 4 października 2003 r., pokonując w Londynie Brytyjczyka Davida Walkera.
15 maja 2004 r. Karmazin zmierzył się z Amerykaninem Jasonem Papillionem, byłym pretendentem do mistrzostwa świata. Walka została przerwana w czwartej rundzie i została uznana za nieodbytą. Powodem przerwania walki było rozcięcie nad lewym okiem Amerykanina, które powstało przez przypadkowe zderzenie głowami.
2 kwietnia 2005 r., Karmazin zmierzył się z byłym, dwukrotnym mistrzem świata wagi średniej Keithem Holmesem. Pojedynek miał status eliminatora do pasa IBF w kategorii lekkośredniej. Karmazin zwyciężył na punkty przez decyzję większości. 14 lipca tego samego roku Rosjanin otrzymał szansę jako oficjalny pretendent do pasa IBF. W Stanach Zjednoczonych zmierzył się z Ugandyjczykiem Kassimem Oumą. Karmazin zdobył tytuł, wygrywając wysoko na punkty. Ouma był liczony dwukrotnie w rundzie trzeciej. 8 lipca 2006 r. w pierwszej obronie mistrzostwa świata Karmazin zmierzył się z Amerykaninem Corym Spinksem. Pojedynek zakończył się na punkty a 2 z 3 sędziów wskazało na wygraną Spinksa. Potyczka była bardzo wyrównana, ale wielu ekspertów oraz obserwatorów widziało przewagę Rosjanina w stosunku 116-112, 115-113.