W 2003 stoczył jeszcze dwie walki, wygrywając obie na punkty. 29 października pokonał Tima Bowe'a, a 11 listopada Tyrusa Armsteada.
2004 – 2006 Pierwszy pojedynek w 2004 stoczył 19 marca, pokonując przez techniczny nokaut w ósmej rundzie Karla Willisa. 20 maja 2004 zmierzył się z niepokonanym rodakiem Yusafem Mackiem. Walka zaplanowana na osiem rund zakończyła się remisem. Jeden sędzia wypunktował wygraną Macka w stosunku punktowym 77-75, drugi wygraną Griffina 77-75, a ostatni wskazał na remis, punktując 76-76. 11 czerwca 2004 pokonał Levana Easleya, wygrywając przez techniczną decyzję w siódmej rundzie. W siódmej rundzie po przypadkowym zderzeniu głowami walka została przerwana, a po podliczeniu punktów Griffin został ogłoszony zwycięzcą. Ostatni pojedynek w 2004 stoczył 30 lipca, mając za rywala Kubańczyka Julio Garcíę. Griffin zwyciężył przez techniczny nokaut w dziesiątej rundzie, zdobywając pasy NABA oraz WBO NABO w kategorii średniej.