W 1923 trzyletni Charles wraz z rodzicami wyemigrował do Los AngelesCharles Bukowski (2009) Barry Miles. Random House, 2009, .Neeli Cherkovski: Das Leben des Charles Bukowski. München 1993, s. 18–20.. Bukowski często opisywał swoich rodziców na kartach książek, z reguły niepochlebnie. W Z szynką raz! opisał swojego ojca jako człowieka brutalnego, pełnego uprzedzeń i podcinającego młodemu Henry’emu skrzydła. Opisał, jak jego ojciec często znęcał się nad nim, zarówno fizycznie, jak i psychicznie, bijąc go za najmniejsze wyimaginowane przewinienie. Charles w młodości miał poważny trądzik, którego ślady nosił na twarzy do końca życia.

Po ukończeniu szkoły średniej Los Angeles High School, Charles Bukowski dostał się do miejskiego college’u w Los Angeles (Los Angeles City College), gdzie przez dwa lata studiował dziennikarstwo, jednak nie ukończył studiów. Po opuszczeniu szkoły zaczął pracować. Imał się wielu zajęć, z reguły wykonywał kiepsko płatną pracę fizyczną. Zamieszkiwał wtedy w biednych robotniczych dzielnicach wielkiego miasta. Wtedy też stał się bywalcem spelunek i torów wyścigowych. Jego wielką pasją przez całe życie były wyścigi koni, na których częściej tracił niż zarabiał, przy okazji barwnie je opisując. W 1942 roku nakazano mu stawić się przed komisją wojskową.