23 października 1952 r. poślubił Virginię Fortune Ryan (ur. 9 lutego 1933, zm. 17 sierpnia 2024King Charles leads tributes as Queen Elizabeth’s close friend and former lady-in-waiting Lady Airlie dies aged 91), córkę amerykańskiego multimilionera, Johna Barry’ego Ryana i Margaret Kahn, córki finansisty Otto Kahna. David i Virginia mieli razem trzech synów i trzy córki: Doune Mabell Ogilvy (ur. 13 sierpnia 1953), żona Herewarda Wake’a, nie ma dzieci Jane Fortune Margaret Ogilvy (ur. 24 czerwca 1955), żona François Nairaca, ma dzieci David John Ogilvy (ur. 9 marca 1958), lord Ogilvy Bruce Patrick Mark Ogilvy (ur. 7 kwietnia 1959) Elisabeth Clementina Ogilvy (ur. 4 czerwca 1965) Patrick Alexander Ogilvy (ur. 24 marca 1971)
W latach 1961–1984 pracował jako dyrektor Henry Schroder Wagg & Co, a w latach 1973–1977 był przewodniczącym zarządu. Zrezygnował z pracy w banku w 1984 r., kiedy to został Lordem Szambelanem Dworu Królewskiego. Sprawował ten urząd do 1997 r. Był również Lordem Namiestnikiem Angus od 1989 r. i kawalerem Orderu Ostu od 1985 r. Został również odznaczony Krzyżem Wielkim Królewskiego Orderu Wiktoriańskiego. Od 1984 r. był członkiem Tajnej Rady. Był również Kanclerzem Uniwersytetu w Dundee od 1994 r. W 1998 r.