Williams, aby móc kontynuować karierę, przyjął opiekę managera Franka „Blinky” Palermo, który był powiązany z gangsterem Frankie Carbo, należącym do mafijnej rodziny Lucchese.
W obronie tytułu pokonał 30 kwietnia 1946 w Los Angeles Enrique Bolanosa przez techniczny nokaut w 8. rundzie, a także 4 września tego roku w Cardiff Ronniego Jamesa przez nokaut w 9. rundzie. 20 czerwca 1947 znokautował w 4. rundzie byłego mistrza świata wagi junior półśredniej Tippy'ego Larkina, a 4 września tego roku w Filadelfii zmierzył się o tytuł uniwersalnego mistrza wagi lekkiej z uznawanym za mistrza przez NYSAC Bobem Montgomerym (który go znokautował w 1944). Williams wygrał przez techniczny nokaut w 6. rundzie i został jedynym mistrzem świata w tej kategorii wagowej.
27 lutego 1948 w Madison Square Garden w Nowym Jorku pokonał w towarzyskiej walce przyszłego mistrza świata w wadze półśredniej Kida Gavilana, a w obronie tytułu wygrał ponownie z Bolanosem 25 maja w Los Angeles na punkty, z byłym mistrzem świata Beau Jackiem 12 lipca w Filadelfii przez TKO w 6. rundzie i z Jesse Floresem 23 września w Nowym Jorku przez TKO w 10. rundzie. Został uznany bokserem tego roku przez magazyn The Ring.