Robert w 1933 powiedział o niej The whole secret of my getting on, lay with my mother.
Gdy Baden-Powell (zwany przez rodzinę Stevie) miał dziewięć lat, matka posłała go do krewnych, do posiadłości rodowej ojca w hrabstwie Kent, aby tam zgodnie ze zwyczajem Baden-Powellów, uczył się czytać, pisać i liczyć w sąsiednim probostwie. Jego wychowawcą był blisko 70-letni, raczej niefrasobliwy, pastor Allfrey. Robert Baden-Powell grał na pianinie i skrzypcach. Uwielbiał aktorstwo.
Podczas wakacji przyłączył się do trojga starszych braci, Franka (1850–1931), George’a (1847–1898) i Warringtona (1847–1921). Razem odbyli podróż łodzią do letniego domu Baden-Powellów w pobliżu Llandogo nad rzeką Wye, 250 km na północny zachód od Londynu. Rok później, w 1867, bracia nabyli i wyremontowali kuter rybacki, którym pływali wzdłuż wybrzeża. Następnie Warrington zakupił żaglowiec „Koh-i-noor”, nadający się do dłuższych rejsów.