W latach 50. i 60. utrzymywał przyjacielskie stosunki z aktorką Gretą Garbo, która odrzuciła jego oświadczyny. Na początku lat 60. nawiązał romans z Lee Radziwill. Jesienią 1963 rozpoczął romans z Jacqueline Bouvier-Kennedy, żoną Johna F. Kennedy’ego, którą poślubił 20 października 1968 na wyspie Skorpios. Po kilku tygodniach pożycia zaczął żałować decyzji o ślubie i najpierw obniżył kieszonkowe rozrzutnej żonie z 30 na 20 tys. dol., a następnie zmienił testament, pomniejszając udział żony w spadku ze 100 mln dol. na 200 tys. dol. rocznie, a cała reszta majątku miała przypaść córce. W trakcie drugiego małżeństwa romansował m.in. z aktorką Joan Thring i odnowił bliskie stosunki z Marią Callas. Planował rozwód z żoną. Jesienią 1974 nawiązał romans z fotografką Hélène Gaillet de Neergaard.