Utrata nogi podczas bitwy nad Sommą odbiła się na zdrowiu mężczyzny, prowadząc do gruźlicy i jego śmierci w 1937.
Pierwsze dwa lata swojego życia Deborah spędziła w mieście Helensburgh, gdzie jej rodzice mieszkali z dziadkami. Kerr miała młodszego brata Edmunda, który został dziennikarzem. Zmarł w wypadku drogowym w 2004 roku. Miał wówczas 78 lat.
W wieku siedmiu lat została zapisana do przedszkola z internatem St. Martha's Kindergarten w Bramley. Ze względu na dużą odległość od miejsca zamieszkania, do domu wracała tylko na weekendy. W 1932 rozpoczęła naukę w Northumberland House Boarding School w Bristolu, gdzie jej ciotka Phyllis Jane Smale uczyła aktorstwa i dykcji. W 1937 Phyllis Jane, wówczas aktorka radiowa w Bristol's Broadcasting Service, wraz ze swoją przyjaciółką Lally Cuthbert-Hicks założyły Hicks-Smale Drama School w Bristolu, do której uczęszczała Deborah. Dziewczyna mieszkała wówczas z matką, bratem i babcią w domu w Weston-super-Mare, pokonując w drodze do szkoły 20 mil dziennie. Tam, oprócz aktorstwa, uczyła się baletu, dykcji i uczęszczała na lekcje dobrego wychowania.