Edukację początkowo odbierał w pałacu królewskim, ale decyzją rodziców w wieku dwunastu lat zaczął uczęszczać do szkoły w Sztokholmie, tak jak jego starsze rodzeństwo. Był dyslektykiem. Po ukończeniu nauki wstąpił do armii i zaczął wykonywać królewskie obowiązki. W młodości uprawiał łyżwiarstwo.
W 1920, kiedy miał osiem lat, zmarła jego matka. Ojciec ożenił się ponownie w 1923 z ciotką księcia Edynburga, Filipa Mountbatten, Ludwiką. Według relacji, królowa Ludwika miała dobry kontakt ze swoimi pasierbami, a potem także z ich dziećmi. W 1950 jego ojciec został królem Szwecji.
Członek rodziny książęcej Książę otrzymał przy narodzinach tytuł księcia Halland, noszony w średniowieczu przez różnych szwedzkich i duńskich krewnych. Zajmował dalsze miejsce w linii sukcesji tronu Szwecji, ponieważ miał dwóch starszych braci. Pierwszy z nich, książę Gustaw Adolf, zginął jednak w katastrofie lotniczej w 1947, pozostawiając zaledwie rocznego syna, Karola Gustawa. Drugi z braci, hrabia Sigvard Bernadotte, utracił swoje prawa sukcesji z powodu niezaakceptowanego w rodzinie królewskiej małżeństwa z Eriką Marią Patzek.