Edukacja W dzieciństwie Fish uczęszczał do Chateau de Lancy, szwajcarskiej szkoły niedaleko Genewy, do której uczęszczał również jego ojciec w 1860 roku. Tam młodszy Fish nauczył się języka francuskiego i grał w piłkę nożną. Wakacje spędzał z rodziną w Bawarii. Swoją edukację w amerykańskiej szkole z internatem rozpoczął w Fay School w Southborough w stanie Massachusetts, a później uczęszczał do St. Mark’s School, szkoły przygotowawczej również w Southborough. Fish sam siebie nazywał „uczniem klasy B”, ale odnoszącym sukcesy w kilku różnych dyscyplinach sportowych.

Po ukończeniu St. Mark’s w 1906 Fish udał się do Harvard College. Grał w drużynie futbolu Harvardu jako obrońca i był członkiem Porcellian Club. „Ham” Fish, mierząc i ważąc , odniósł duży sukces jako futbolista dwukrotnie zdobywając tytuł All-America, a w 1954 roku został nominowany do College Football Hall of Fame. Był jedynym absolwentem Harvardu w zespole „All Time” „All America” Waltera Campa, absolwenta Yale. Po ukończeniu Harvardu Fish kontynuował swoje zaangażowanie w futbolu amerykańskim.