Dzieciństwo André Roussimoff urodził się w Coulommiers[Bertrand Hébert, Pat Laprade. The Eighth Wonder of the World: The True Story of André the Giant. Toronto, Ontario: ECW Press (2020). The Eighth Wonder of the World: The True Story of André the Giant], choć część źródeł błędnie podaje Grenoble. Był trzecim dzieckiem pary migrantów – Bułgara Borisa i Polki Marianne (Marianna) Rousimoff. Jako dziecko nazywano go „Dédé”. Objawy gigantyzmu u chłopca pojawiły się wcześnie; w wieku 12 lat André mierzył 191 cm i ważył 94 kg. Był jedynym chorującym na gigantyzm dzieckiem Roussimoffów. Nie mieścił się w szkolnym autobusie; do szkoły podwoził go jego sąsiad – dramaturg i przyszły noblista Samuel Beckett. W wolnym czasie grywał w piłkę nożną, zazwyczaj na pozycji bramkarza. Mimo dobrych wyników w nauce, Roussimoff porzucił szkołę po ukończeniu ósmej klasy, by móc pomagać w pracy na rodzinnej farmie. Zajmował się też stolarstwem, a także pracował w fabryce produkującej kombajny.