Został kandydatem na wiceprezydenta przy Jamesie Coxie, podczas wyborów prezydenckich w 1920 roku. Po zwycięstwie republikanina Warrena Hardinga Roosevelt opuścił Waszyngton i powrócił do praktyki prawniczej. W 1921 roku zachorował na chorobę Heinego-Medina i na trzy lata wycofał się z życia publicznego. W 1924 r. powrócił do polityki, występując na konwencji Partii Demokratycznej, gdzie starał się zapewnić nominację Alfredowi Smithowi. Pomimo dobrego przemówienia, Smith nie otrzymał wówczas nominacji. Udało się to cztery lata później, kiedy to Partia Demokratyczna nominowała Smitha do prezydentury, natomiast Roosevelta wyznaczyła jako kandydata na gubernatora Nowego Jorku. Dzięki intensywnej kampanii ten ostatni zwyciężył w wyborach, choć Smith przegrał wybory prezydenckie z Herbertem Hooverem.