Urodził się w Besançon. Spędził tam tylko pierwsze miesiące życia i nie czuł się z tym miastem szczególnie związany. Już w końcu 1802 jego ojciec otrzymał bowiem rozkaz wyjazdu do Marsylii, a stamtąd do Bastii i Portoferraio na Elbie. Początkowo Léopold Hugo sam zajmował się synami, żona dołączyła do niego w lipcu 1803, po czym już jesienią tego samego roku wyjechała do Paryża i w lutym 1804 zamieszkała tam z trójką dzieci na stałe. Sophie Hugo jeszcze przed narodzeniem najmłodszego syna nie kochała męża, a gdy Victor miał rok, nawiązała romans z gen. . Victor Hugo rozpoczął edukację w wieku trzech lat, razem ze starszym bratem.
W 1807 Sophie Hugo przybyła razem z synami do Włoch, gdzie jej mąż brał udział w zwalczaniu lokalnego antyfrancuskiego ruchu oporu, a następnie był zarządcą prowincji Avellino. Podróż i czteromiesięczny pobyt w Neapolu wywarły na pięcioletnim Victorze ogromne wrażenie i przyszły literat wielokrotnie przywoływał je we wspomnieniach. Po czterech miesiącach między małżonkami Hugo doszło ponownie do sporów i Sophie Hugo wróciła do Paryża. Victor Hugo i jego brat Eugène nie podjęli na nowo systematycznej nauki w szkole. Przyszły poeta sam nauczył się czytać. Pod kierunkiem katolickiego duchownego nauczył się łaciny, zaś Victor Fanneau de la Horie uczył go historii starożytnej.