Zgodnie z francuskim zwyczajem klas posiadających chłopiec został oddany na wykarmienie do mamki, u której przebywał przez 4 lata, następnie wciąż pod opieką obcych ludzi nauczył się czytać i pisać. Matkę widywał tylko w niedzielę. Do domu rodzinnego wrócił w 1803 roku. Ten epizod z dzieciństwa zrodził we wrażliwym dziecku przekonanie, że był odrzucony i niekochany przez swoją matkę. Spośród trojga rodzeństwa (Laure, Laurence i Henriego) szczególne więzi połączyły go z, o szesnaście miesięcy młodszą, Laure.
Gdy ukończył 6 lat, ojciec umieścił go jako alumna w Vendôme, w kolegium z internatem, prowadzonym przez zgromadzenie oratorianów, skąd powracał tylko na wakacje. W Vendôme Balzac zapoznał się z obszerną biblioteką szkoły. Pochłaniał bez wyboru książki wszelkich rodzajów: religijne, historyczne, filozoficzne, przyrodnicze. Przeżycia z tego okresu zawarł później w powieści Ludwik Lambert, w znacznej mierze autobiograficznej. W kwietniu 1813 roku oratorianie zaniepokojeni jego stanem zdrowia odesłali go do domu.