Jego daleki kuzyn, Leonard Jägerskiöld był kapitanem korwety Griden, której załoga dopłynęła do ujścia rzeki Amur i założyła nad nim małą osadę, która po 1860 roku została rozbudowana przez rosyjską marynarkę wojenną w portowe miasto Władywostok. Wuj Carla Gustafa, szwedzki podróżnik Adolf Erik Nordenskiöld odkrył prowadzącą na Daleki Wschód Północną Drogę Morską, dopływając do cieśniny Beringa w 1879 roku.
Carl Gustaf Mannerheim był dzieckiem pisarza oraz przedsiębiorcy, hrabiego Carla Roberta Mannerheima (1835–1914) i jego żony, hrabiny Hedvig Charlotty Heleny (Hélène) von Julin (1842–1881), córki znanego fińskiego przemysłowca. Miał trzech braci: Carla Erika Johana (1865–1915), Carla Fridolfa Johana (1868–1934) i Carla Augusta Ludviga (1873–1910), oraz dwie siostry: Evę Charlottę Sophie (1863–1928) i Evę Hedvig Vilhelminę Johannę (1870–1958). Jako młodszemu synowi hrabiego przysługiwał mu tytuł barona. Po bankructwie prowadzonej przez siebie fabryki papieru ojciec Carla Gustawa opuścił rodzinę i wyjechał do Paryża z kochanką. Po śmierci matki, Hélène von Julin rodzeństwo zostało rozdzielone między członków rodziny.