W 1936 roku został wykładowcą na Akademii Nauk ZSRR. Zakresem jego pracy była gospodarka Stanów Zjednoczonych. Gromyko opublikował kilka książek na ten temat. W 1939 roku Komisja KC partii zaoferowała mu pracę w korpusie dyplomatycznym. W trakcie pracy zyskał uznanie polityków takich jak Gieorgij Malenkow i Wiaczesław Mołotow co otworzyło mu kolejne szczeble karieryGromyko 1989, s. 33..
Praca ambasadora i II wojna światowa thumb|230px|Gromyko na konferencji jałtańskiej Wiosną 1939 roku zaczął pracować dla Ludowego Komisariatu Spraw Zagranicznych w Moskwie gdzie został szefem Departamentu Ameryk. Ze względu na swoją pozycję Gromyko spotkał się z ambasadorem Stanów Zjednoczonych w ZSRR, Lawrence Steinhardtem. Gromyko uważał, że Steinhard był „zupełnie niezainteresowany tworzeniem dobrych relacji między USA i ZSRR”Gromyko 1989, s. 35. a jego poprzednik na stanowisku Joseph Davies bardziej sprzyjał poprawie relacji między krajamiGromyko 1989, s. 36–37.. Po pół roku pracy Gromyko został zaproszony przez Józefa Stalina na spotkanie. Stalin w trakcie rozmowy poinformował dyplomatę o jego awansie i wysłaniu go do radzieckiej ambasady w Stanach Zjednoczonych. Gromyko miał na celu pogłębienie stosunków z USA celem zmniejszenia zagrożenia ze strony faszyzmu.