W tym czasie Williams stoczył również walkę no decision z mistrzem świata w wadze piórkowej Johnnym Kilbane (17 marca 1915 w Filadefii), zdaniem prasy przegraną. 10 września 1915 w Saint Paul został zdyskwalifikowany w 5. rundzie za zbyt niski cios w walce z Johnnym Ertle, który w następstwie tego podniósł roszczenia do tytułu mistrza świata. Williams był jednak nadal uznawany za mistrza w kategorii do 118 funtów, podczas gdy niektóre federacje stanowe uznawały Ertle'a za mistrza w wadze do 116 funtów.
Williams kontynuował obronę tytułu mistrzowskiego w następujących bokserskich pojedynkach: DataMiejsceOponentWynikŹródło Baltimore Dutch Brandt wygrana na punkty Nowy Orlean Frankie Burns remis Nowy Orlean Pete Herman remis Baltimore Battling Lahn no decision Wilkes-Barre Billy Bevan no decision Baltimore Benny McCoy techniczny nokaut w 7. rundzie Buffalo Young Joey Mendo techniczny nokaut w 5. rundzie
28 października 1915 Williams stoczył walkę no decision z „Memphis” Palem Moore, zdaniem prasy przegraną.
Stracił mistrzostwo świata, gdy 19 stycznia 1917 w Nowym Orleanie Pete Herman pokonał go na punkty po 20. rundach. Był to ich trzeci pięściarski pojedynek. W ich czwartej walce 13 czerwca tego roku (tytuł mistrzowski nie był stawką) lepszy zdaniem prasy był Herman.