Niektóre źródła podają, że Jim był jednym z 19 dzieci Hirama i 11., które ten miał z Vieux.
Razem z bratem bliźniakiem o imieniu Charlie Jim rozpoczął naukę w indiańskiej szkole w agencji dla Sauków i Lisów w miejscowości Tecumseh na Terytorium Indiańskim. Jego brat zmarł na gruźlicę w wieku ośmiu lat, a Jim, który ciężko to przeżył, kilkakrotnie uciekał ze szkoły. Wtedy ojciec posłał go do tzw. Haskell Institute, indiańskiej szkoły z internatem w Lawrence w stanie Kansas. Gdy dwa lata później zmarła mu matka, Jim opuścił rodzinny dom i podjął pracę w stadninie koni.
Talent W 1904 wrócił do ojca i jako szesnastolatek rozpoczął naukę w innej znanej szkole dla Indian w Carlisle, w stanie Pensylwania. Tam ujawniły się jego zdolności sportowe, a jego opiekunem został Glenn Scobey „Pop” Warner, jeden z najbardziej znanych trenerów z początków amerykańskiego futbolu. Gdy krótko potem zmarł ojciec Jima, ten znów porzucił szkołę, by po kilku latach samodzielnej pracy powrócić do Carlisle i zacząć sportową karierę w grach zespołowych (futbol, baseball, lacrosse), a także w tańcu towarzyskim.