Leo na Florydzie, po wyrzuceniu z kilku innych szkół za złe zachowanie (palenie papierosów, opuszczanie lekcji i bójki).
12 sierpnia 1942 Marvin zaciągnął się do United States Marine Corps. Przed ukończeniem Szkoły Piechoty był kwatermistrzem. Marvin służył w 4. Dywizji Piechoty Morskiej jako snajper zwiadowczy w czasie wojny na Pacyfiku podczas II wojny światowej; w 1944 został ranny podczas bitwy o Saipan i 13 miesięcy hospitalizowany. Odznaczono go Purpurowym Sercem.
Po wojnie imał się różnych zajęć. Pracował jako stenotypista, a następnie został uczniem hydraulika w Woodstock. W 1947 poznał B.J. Ballantyne’a, byłego współpracownika Johna Barrymore’a, który prowadził Woodstock Little Theatre. Ballantyne namówił Marvina do zastąpienie chorego aktora i wzięcia udziału w off–broadwayowskim przedstawieniu Przydroże (Roadside). Następnie ukończył kurs aktorski w nowojorskim American Theatre Wing. Po gościnnym występie na małym ekranie w jednym z odcinków serialu kryminalnego ABC Skarbiec w akcji (Treasury Men in Action, 1950), zadebiutował u boku Gary’ego Coopera w roli radiowca w komedii wojennej Henry’ego Hathawaya Teraz jesteś w marynarce (You’re in the Navy Now, 1951), w którym debiutowali także Charles Bronson i Jack Warden. Pojawił się jako G.I.