W ostatnich latach życia cierpiał na cukrzycę i miał problemy z sercem. Zmarł 28 marca 2004 w wieku 83 lat, w wyniku niewydolności serca, w klinice w Genolier, która mieściła się w pobliżu jego domu w Bursins. Pogrzeb odbył się 2 kwietnia na cmentarzu w Bursins, przemawiała na nim w imieniu ówczesnego sekretarza ONZ Kofiego Annana Dyrektor Generalna UNICEF Carol Bellamy.

Był poliglotą. Mówił płynnie po angielsku, francusku, hiszpańsku, włosku, niemiecku i rosyjsku, a także po turecku i grecku.

Życie prywatne Ustinov był trzykrotnie żonaty. Jego pierwszą żoną w latach 1940–1950 była Isolde Denham, przyrodnia siostra aktorki Angeli Lansbury. Mieli jedno dziecko, córkę Tamarę (ur. 1945). Drugie małżeństwo zawarł z Suzanne Cloutier w 1954, zakończone rozwodem w 1971. Mieli troje dzieci, dwie córki: Pavlę i Andreę oraz syna Igora. Trzeci i ostatni raz ożenił się w 1972 z Helene du Lau D’Allemans. Małżeństwo to trwało do jego śmierci.

Filmografia mały|Ustinov wraz z żoną i córką (lata 50.) mały|Ustinov jako Neron w filmie Quo vadis (1951) mały|Ustinov (lata 60.) mały|Ustinov (1965) mały|Ustinov na fot.