W styczniu 1940 roku został mianowany dowódcą Floty Pacyfiku, w tej roli wypełniał dowódcze zadania podczas manewrów Fleet Problem XXI, zakończonych decyzją prezydenta o pozostawieniu trzonu Floty Pacyfiku w Pearl Harbor. Admirał Richardson ostro sprzeciwiał się decyzji Roosevelta, podnosząc że baza w Pearl Harbor nie jest przygotowana logistycznie na obsługę tak dużego ugrupowania okrętów, ucierpi też na tym poziom szkolenia we flocieGordon W. Prange: At Dawn We Slept, s. 38. Wbrew wielu relacjom, Richardson nie obawiał się japońskiego ataku na Naval Station Pearl Harbor. Jak stwierdził w powojennym śledztwie, w czasie sprawowania dowództwa w Pearl Harbor, nie wydał rozkazu postawienia zagród przeciwtorpedowych, gdyż nie wierzył w możliwość przeprowadzenia skutecznego ataku torpedowego w tym porcie.
Admirał udał się między innymi do Białego Domu i wprost oświadczył prezydentowi, że „starsi oficerowie marynarki nie mają zaufania co cywilnego przywództwa kraju”Craig Symonds: Nimitz at War, s. 3–4.. Co było tym większą zniewagą dla prezydenta, że Roosevelt – były Asystent Sekretarza Marynarki – uważał się za człowieka marynarki. W konsekwencji, w lutym 1941 roku Roosevelt zdymisjonował Richardsona i zastąpił go adm.