Dorastał we wsi w pobliżu miasta Wietka, gdzie większość mieszkańców była staroobrzędowcami w ramach Rosyjskiego Kościoła PrawosławnegoGromyko 1989, s. 12.. Choć większość mieszkańców wioski Gromyki była głęboko religijna, on sam już w bardzo młodym wieku zaczął wątpić w istnienie siły nadprzyrodzonej. Do ateizmu w późniejszych latach przekonał go jego sąsiad-wolnomyśliciel, Michaił SjeljutowGromyko 1989, s. 17.. Już po rewolucji październikowej poznał on poglądy ateistyczne czytając wydawane przez rząd ulotki i broszuryGromyko 1989, s. 18.. W wieku 13 lat został członkiem Komsomołu i wraz z przyjaciółmi działającymi w tej młodzieżowej organizacji promował w rodzinnych stronach wartości komunistyczne i antyreligijneGromyko 1989, s. 19..
Wiadomość o ataku Niemiec na Imperium Rosyjskie w sierpniu 1914 roku wpłynęła na poczucie miłości do ojczyzny Gromyki. Jego ojciec na trzy lata został wcielony do armii i walczył na froncie południowo-zachodnim pod dowództwem generała Aleksieja Brusiłowa. Do domu wrócił w przeddzień rewolucji październikowejGromyko 1989, s. 21..
Na początku 1923 roku Gromyko został wybrany na pierwszego sekretarza lokalnego KomsomołuGromyko 1989, s.