Sophie Hugo z synami mieszkała w budynku należącym dawniej do klasztoru feuillantów w Paryżu. Obiekt ten i jego obszerny ogród były wielokrotnie przywoływane w późniejszej poezji Hugo, zmitologizowany w jego wyobraźni.
Po aresztowaniu gen. de la Horie w 1810 Sophie Hugo ponownie wyjechała z Paryża i udała się do swojego męża, który w międzyczasie uzyskał awans na generała i służył w Hiszpanii. Kilkumiesięczna podróż przez wyniszczony wojną kraj również miała wielki wpływ na kilkuletniego Victora. W Madrycie gen. Hugo zażądał rozwodu i odebrania synów spod opieki matki. Dwaj młodsi synowie zostali oddani do miejscowego kolegium dla chłopców pochodzenia szlacheckiego San Antonio Abad, prowadzonego przez zakonników, najstarszy wstąpił do korpusu paziów. Już w 1812 król Hiszpanii Józef rozstrzygnął spór między gen. Hugo a jego żoną o dzieci na korzyść kobiety, pozwalając jej wrócić do Paryża z dwójką młodszych synów. W stolicy Francji przyszły pisarz nie podjął systematycznej nauki. Edukacja obydwu braci Hugo polegała na spontanicznej lekturze różnych dzieł literackich. Największe znaczenie miała tu nauka łaciny i lektura tekstów klasycznych pod kierunkiem ks. Larivière’a. Hugo biegle opanował język łaciński, czytał w oryginale łacińską poezję. Jak pisał Barrère, „kultura łacińska stanowi trwałą podstawę jego formacji duchowej”.