Życie Młodość i edukacja Williams urodził się w Westcliff-on-Sea w Esseksie, jako jedyny syn urzędnika państwowego. Uczył się w Chigwell School, a następnie ukończył z wyróżnieniem Literae Humaniores w Balliol College w Oksfordzie (1951). Następnie odbył roczną służbę w Royal Air Force w Kanadzie, latając na Supermarine Spitfire. Podczas przepustki poznał w Nowym Yorku swoją przyszłą żonę, Shirley Brittain-Catlin (później Shirley Williams) – córkę politologa George’a Catlina i pisarki Very Brittain – studiującą wtedy na Columbia University. W wieku 22 lat, po zdobyciu stypendium na All Souls College w Oksfordzie w 1951, Williams wrócił wraz z Shirley do Wielkiej Brytanii. Pobrali się w 1955.
Kariera thumb|180px|alt=photograph|Williams opuścił Oksford, aby wspierać karierę polityczną swojej żony Shirley Williams. Williams opuścił Oksford, aby wspierać karierę polityczną swojej żony, i znalazł posadę na University College London, gdzie pracował od 1959 do 1964 roku. Później został mianowany profesorem filozofii w Bedford College, podczas gdy jego żona pracowała jako dziennikarka dla Financial Times. Przez 17 lat mieszkali w dużym domu w Kensington wraz z agentem literackim Hilarym Rubinsteinem i jego żoną.