W roku 1732 król Jerzy II Hanowerski podarował 10 Downing Street oraz „dom na tyłach” Robertowi Walpole'owi (często nazywanemu pierwszym premierem) w dowód uznania za jego służbę dla państwa. Walpole przyjął podarek, ale pod warunkiem, że będzie to dar dla urzędu Pierwszego Lorda Skarbu, a nie dla niego samego. Król wyraził zgodę i od tego czasu lokatorem i „właścicielem” posesji zostawał każdy następny Pierwszy Lord Skarbu. W roku 1732 Walpole zlecił architektowi Williamowi Kentowi połączenie budynków w jedną całość. W ten sposób powstał potężny gmach, który znamy jako 10 Downing Street.
Hojny na pierwszy rzut oka dar w praktyce nie okazał się tak wspaniały. Mimo swych sporych rozmiarów i świetnej lokalizacji, Numer 10 nie był z początku atrakcyjnym miejscem zamieszkania. Przede wszystkim był zbudowany na grząskim, niestabilnym gruncie. Po drugie Walpole stworzył wprawdzie precedens, ale stanowisko premiera (prime minister) aż do początków XIX wieku nie było wpisane na stałe w skład królewskiego rządu. Co więcej, do początków wieku XX nie było łączone w jedno z godnością Pierwszego Lorda Skarbu. W konsekwencji niektórzy premierzy Wielkiej Brytanii mieszkali tu, większość jednak nie.