Tamże młodzieniec opanował klasyczną grekę, łacinę i francuski, a w trakcie wielu późniejszych podróży poznał również hiszpański, włoski oraz niemiecki. Lee w 1746 roku wstąpił do gimnazjum w Bury St EdmundsBrak jedności co do kolejności szkół – niektóre źródła (American National Biography) podają, że Lee najpierw studiował w Szwajcarii, a dopiero potem w Bury St Edmunds; inne (Dictionary of National Biography, Appletons’ Cyclopædia of American Biography) odwracają kolejność., gdzie nawiązał liczne przyjaźnie. John Lee chcący by syn kontynuował wojskowe tradycje 9 kwietnia 1746 roku zakupił dlań patent chorążego w swoim pułku. Wkrótce po śmierci ojca w 1751 roku Charles poróżnił się z matką; rodzina z jej strony była ponurego i cholerycznego temperamentu, który i on odziedziczył. Jak sam to później określił cierpiał na „dolegliwość umysłu”. Od tamtego czasu jedyną bliską mu osobą pozostawała siostra, Sidney Lee – żadne z pięciorga dalszego rodzeństwa nie dożyło dorosłości.
Wojna siedmioletnia w Ameryce