Następnego dnia ze wszystkich stanowisk zrezygnował Walpole i dołączył do szwagra w ławach opozycji.

W tych trudnych latach Townshend i Walpole skupili się przy opozycji konstruowanej wokół dworu prześladowanego przez ojca księcia Walii (przyszłego Jerzego II). Pozycja Walpole’a umocniła się w 1720 r., kiedy doprowadził do pogodzenia się króla i następcy tronu. W 1719 r. przyczynił się do upadku rządowego projektu ustawy ograniczającej prerogatywy monarchy co do kreowania nowych parów. Porażka skłoniła Stanhope’a i Sunderlanda do szukania porozumienia z oponentami. W jego wyniku w 1720 r. Townshend powrócił do gabinetu jako lord przewodniczący Rady, a Walpole otrzymał stanowisko płacmistrza armii. Przystąpienie Walpole’a do gabinetu sprawiło jednak, że utracił łaski księcia Walii.

Droga do władzy W tym czasie rząd brytyjski postanowił zlikwidować dług publiczny, doprowadzając do jego przejęcia przez Kompanię Mórz Południowych. Wkrótce wybuchła gorączka zakupowa, a ceny akcji Kompanii sięgnęły kwoty 1000 funtów. Pod koniec roku nastąpił jednak spadek cen akcji do 100 funtów, co pociągnęło za sobą liczne bankructwa (South Sea Bubble). Sam Walpole zakupił akcje Kompanii, jednak za radą bankiera sprzedał je, unikając w ten sposób bankructwa.