16 maja 1997 r., Holiday wyszedł do ringu, by po raz kolejny przystąpić do obrony pasa IBF. Jego rywalem był Amerykanin Pete Taliaferro, który w 1995 r. walczył o mistrzostwo w kategorii superpiórkowej, przegrywając z Regilio Tuurem. Taliaferro był liczony już w pierwszej rundzie, ale zdołał się pozbierać i w drugiej doprowadził do pierwszego liczenia Philipa w karierze. Ostatecznie po wyrównanej batalii, niejednogłośnie zwyciężył (115-111, 111-115, 115-111) Holiday, udanie broniąc pas. 2 sierpnia doszło do jego spotkania z niepokonanym Shane’em Mosleyem. Mosley był niepokonany w 23 walkach, a 22 zakończył przez nokaut. Po wyrównanym pojedynku, jednogłośnie na punkty (116-113, 117-111, 115-114) zwyciężył Mosley, zadając południowoafrykańskiemu bokserowi pierwszą porażkę w karierze i odbierając mu tytuł.

Po utracie tytułu, Holiday nie zdołał powrócić do wielkich walk. Holiday stoczył kilkanaście pojedynków, walcząc o mniej znane tytuły m.in.: WBU, IBC. Na ring niespodziewanie wrócił 18 marca 2010 r., przegrywając z Australijczykiem