Rządy samodzielne Po usunięciu Townshenda Walpole sprawował niepodzielną kontrolę nad gabinetem. Ciesząc się poparciem królowej Karoliny i króla Jerzego, wykorzystywał rozdawnictwo tytułów i urzędów do powiększania swoich wpływów. Sam wybierał członków swojego gabinetu i w razie konieczności potrafił zmusić ich do współpracy. Jego głównym politycznym sprzymierzeńcem był Thomas Pelham-Holles, 1. książę Newcastle.
W roku 1732 król Jerzy II podarował Walpole’owi 10 Downing Street oraz „dom na tyłach” w dowód uznania za jego służbę dla państwa. Walpole przyjął podarunek, ale pod warunkiem, że będzie to dar dla urzędu pierwszego lorda Skarbu, a nie dla niego samego. Król wyraził zgodę i od tego czasu lokatorem i „właścicielem” posesji zostawał każdy następny pierwszy lord skarbu. W roku 1732 Walpole zlecił architektowi Williamowi Kentowi połączenie budynków w jedną całość. W ten sposób powstał potężny gmach, który znamy jako 10 Downing Street.