Życiorys Urodził się w Brooklynie jako syn ubogich imigrantów irlandzkich. W wieku około dwóch lat trafił do sierocińca, skąd wkrótce (w 1909) został adoptowany przez górnika Martina Gavina i jego żonę, Mary, z Mount Carmel w Pensylwanii. Rodzinie Gavinów także nie wiodło się najlepiej: 12-letni James zmuszony był porzucić szkołę i podjąć pracę, by wesprzeć budżet rodzinny. Skończywszy 17 lat, wyjechał do Nowego Jorku, by szukać pracy. Wkrótce zaciągnął się do wojska i swoją przysięgę wojskową złożył 1 kwietnia 1924. Skierowany został do Panamy, gdzie służył w jednostce artylerii nabrzeżnej w Fort Sherman. Jesienią 1924 podjął naukę w szkole w Corozal Town w Belize, dzięki czemu nadrobił zaległości edukacyjne i mógł wstąpić latem 1925 do uczelni wojskowej w West Point. Ukończył ją w 1929 w stopniu podporucznika (Second Lieutenant) i w tym samym roku ożenił się z Irmą Baulsir.
Po West Point skierowany został w rejon Douglas w Arizonie, na pogranicze meksykańsko-amerykańskie. Później trafił do szkoły piechoty w Fort Benning w Georgii, a następnie był instruktorem piechoty w Fort Sill w Oklahomie. W 1936 skierowano go na Filipiny, skąd wrócił po półtora roku z rodziną do Waszyngtonu.