Wkrótce po wyborach Long zdobył posadę w Departamencie Stanu. W roku 1917 został mianowany Trzecim Zastępcą Sekretarza Stanu. Utrzymał to stanowisko aż do swojej dobrowolnej rezygnacji w roku 1920. W trakcie pracy w Departamencie Stanu, do jego obowiązków należało nadzorowanie spraw azjatyckich. W tym okresie zwrócił on również uwagę na poprawę amerykańskiej polityki w zakresie komunikacji z zagranicą. Koordynował też działalność pierwszej międzywydziałowej inspekcji w amerykańskiej komunikacji międzynarodowej.
W 1920 roku Long kandydował do Senatu z ramienia Demokratów. Został pokonany w stanie Missouri przez Seldena P. Sepncera, który uzyskał 53.7% głosów. Po raz drugi ubiegał się o fotel w Senacie w roku 1922 – również nieskutecznie.
Działalność w administracji Roosevelta oraz podczas II wojny światowej Long był osobistym przyjacielem przyszłego prezydenta F.D. Roosevelta. Poznał go, gdy Roosevelt piastował urząd Zastępcy Sekretarza Floty w administracji Wilsona. Long uczestniczył w kampanii prezydenckiej swojego znajomego w roku 1932. Roosevelt wynagrodził go za to stanowiskiem ambasadora USA we Włoszech. Podczas działalności dyplomatycznej Longa, krytykowano go za odradzanie prezydentowi wprowadzenia embarga dla Włoch na dostarczanie ropy naftowej w odpowiedzi na inwazję Mussoliniego na Etiopię.