W tym okresie, określanym potem przez Williamsa jako jeden z najszczęśliwszych w jego życiu, Williamsowie doczekali się córki imieniem Rebecca. Rozwój politycznej kariery żony był źródłem częstej rozłąki, a znaczące różnice w wyznawanych wartościach (Williams był zdeklarowanym ateistą, a jego żona gorliwą chrześcijanką) również odcisnęły piętno na ich związku. Małżeństwo rozpadło się po romansie Williamsa z Patricią Law Skinner (która wtedy była żoną historyka Quentina Skinnera). Williams i Skinner pobrali się i mieli dwóch synów. Shirley Williams powiedziała o swoim małżeństwie z Williamsem:
... To było coś w rodzaju napięcia, płynącego z dwóch źródeł. Jednym z nich było to, że oboje byliśmy za bardzo pochłonięci swoimi własnymi sprawami i nie spędziliśmy całego tego długiego czasu razem; drugim, mówiąc zupełnie szczerze, to to, że nie jestem osobą oceniającą innych ludzi i zdolność Bernarda do dość ostrego poniżania ludzi, o których myślał, że są głupcami, była dla mnie nie do przyjęcia. Patricia była sprytniejsza od mnie w tym zakresie. Ona po prostu to czuje. On potrafi czasami sprawić duży ból. Potrafi człowieka wyjałowić. Ci, którzy zostali w tyle, to dla niego martwe osobowości, tak było. Nie sądźcie, abyście nie byli sądzeni.