Wczesne lata National Army Museum odnotowuje, że Stirling urodził się i wychował w Keir House w hrabstwie Perthshire, w arystokratycznej szkockiej rodzinie o bogatych tradycjach wojskowych. Jednak gazeta „The Scotsman” z 20 listopada 1915 roku i „The Stirling Observer” z 23 listopada 1915 roku opublikowały ogłoszenia, że ​​„Szanowna Pani Keir urodziła syna w poniedziałek 15-go pod adresem 15 Cambridge Square w Londynie”. Był synem generała brygady z Keir i Margaret Fraser, córki (potomka Karola II). , był jego kuzynem. Dziadkami Stirlinga ze strony ojca byli William Stirling-Maxwell, 9. baronet i Anna Maria Leslie-Melville.

Stirling kształcił się w Anglii w katolickiej szkole z internatem Ampleforth College wraz ze swoim starszym bratem Billem Stirlingiem, który w przyszłości również został oficerem. Należał do Uniwersyteckiego Korpusu Szkolenia Oficerów przy swojej uczelni. Krótko uczęszczał do Trinity College w Cambridge, zanim został „zesłany” (tj. wydalony) za 28 różnych przewinień, z których rektor uczelni poprosił go o wybranie trzech „najmniej obraźliwych dla jego matki”. Następnie Stirling udał się do Paryża, gdzie bezskutecznie próbować zostać artystą.