Po utworzeniu rządu narodowego w 1931 De La Warr wstąpił do Narodowej Partii Pracy, która ten rząd popierała. Do 1935 pozostał na swoim poprzednim stanowisku, a w następnie został parlamentarnym sekretarzem przy Radzie Edukacji. W 1936 otrzymał stanowisko parlamentarnego sekretarza w Ministerstwie ds. Kolonii. W 1937 został członkiem gabinetu jako lord tajnej pieczęci. W 1938 został przeniesiony na stanowisko przewodniczącego Rady Edukacji. W kwietniu 1940 objął stanowisko pierwszego komisarza ds. prac publicznych.
W maju 1940 nowym premierem został Winston Churchill, który utworzył koalicję z Partią Pracy. W związku z tym wszyscy ministrowie pochodzący z Narodowej Partii Pracy, w tym De La Warr, zostali usunięci z gabinetu. De La Warr powrócił do rządu dopiero w 1951 jako konserwatysta, kiedy to Churchill w swoim trzecim rządzie powierzył mu stanowisko poczmistrza generalnego, i sprawował ten urząd do 1955.