Uczęszczał do klas początkowych w Montgomery Hills Junior High School w Silver Spring, w stanie Maryland. Jego rodzice nieustannie wszczynali awantury i ignorowali jego i młodszego brata Franka Juniora (ur. 30 lipca 1950), stąd pierwsze lata swojego dzieciństwa Stallone spędził w rodzinach zastępczych. W 1957 jego rodzice się rozwiedli, matka w 1959 po ślubie z Anthonym Filitim przeniosła się do północno-wschodniej Filadelfii, w stanie Pensylwania, gdzie Stallone uczęszczał do Devereaux High School i Lincoln High School. Sylvester ma przybrane rodzeństwo – siostrę Toni Ann Filiti D’Alto (ur. 5 maja 1960) z drugiego małżeństwa matki i brata Dante Alexandra z drugiego małżeństwa ojca.
Przez jeden semestr uczył się w Bishop Snyder School w Silver Spring, w stanie Maryland. Po obejrzeniu filmu Herkules, zainspirowany wyglądem Steve’a Reevesa, rozpoczął treningi na siłowni. Skupił się też na karierze sportowej: podnosił ciężary, grał w szkolnej drużynie piłki nożnej i ćwiczył szermierkę. Wkrótce otrzymał stypendium sportowe i w latach 1960–1963 studiował w American College of Switzerland w Leysin, w Szwajcarii. W tym czasie był trenerem sportowym dziewcząt, a w wolnym czasie występował w szkolnej produkcji Śmierć komiwojażera Arthura Millera.