Ojciec Chucka Norrisa, alkoholik, opuścił rodzinę. W wieku dwunastu lat Carlos Ray przeniósł się z matką i braćmi z Oklahomy do Kalifornii. W 1958, po ukończeniu szkoły średniej North Torrance High School w Torrance, aby utrzymać rodzinę, wstąpił do United States Air Force i doszedł do stopnia Airman First Class (OR-3 – odpowiednik starszego kaprala / plutonowego). W wojsku otrzymał przydomek „Chuck”.
Mistrz sztuk walki W Korei, gdzie służył, poznał sporty walki, trenował m.in. tangsudo i taekwondo (niekiedy podaje się, że Norris był pierwszym człowiekiem Zachodu, który uzyskał 8. dan w taekwondo, jednak nie odpowiada to prawdzie – kilka lat wcześniej czarny pas ósmego dana zdobyli Charles „Chuck” Sereff i Edward Sell). W obydwu tych dyscyplinach zdobył mistrzowskie czarne pasy.
W 1962 powrócił do Stanów Zjednoczonych, gdzie założył szkoły karate. Uczęszczał do nich, m.in., Steve McQueen, który zasugerował mu karierę filmową, ponadto Priscilla Presley i Michael Landon. Ludzie ci zostali później jego bliskimi przyjaciółmi. Był posiadaczem czarnego pasa ze stopniem 9 dan.