Pierwsze miesiące życia spędził przy St. George’s Road na West Square w Lambeth. Wychowywał się ze starszym o cztery lata bratem, Sydneyem, synem Hannah z poprzedniego związku. W 1884 ich matka podupadła na zdrowiu i straciła posadę w teatrze, po czym zaczęła dorabiać jako krawcowa. Żyli w skrajnie trudnych warunkach i narastającej biedzie, przeprowadzając się do coraz mniejszych pokoi (mieszkali m.in. na Oakley Street). W 1896 matce Charliego nie udało się znaleźć pracy, dlatego we troje trafili do przytułku. Po kilku tygodniach zostali przeniesieni do Szkoły dla Sierot i Ubogich Dzieci w Hanwell. Opuściwszy przytułek, ponownie zamieszkał z bratem i matką. Po tym, jak Hannah dostała obłędu i w 1896 została umieszczona w szpitalu psychiatrycznym w Cane Hill, trafił z bratem pod opiekę ojca i macochy, Louise, która źle ich traktowała, m.in. nie wpuszczała ich na noc do domu (mieszczącym się przy Kennington Road 287), przez co konieczna była interwencja Towarzystwa Ochrony Dzieci przed Okrucieństwem. Charlie z tego związku ojca ma młodszego prawie o cztery lata brata przyrodniego, z którym jednak nie stworzył żadnych więzi. Matka ponownie zajęła się synem po wyjściu ze szpitala psychiatrycznego;