Kariera W wolnych chwilach grywał w niewielkich przedstawieniach. Jego talent sprawił, że został dostrzeżony przez Stanleya Kramera. Reżyser polecił go Fredowi Zinnemannowi i Van Cleef dostał małą rolę jako czarny charakter (Jack Colby) w filmie W samo południe. Po tym debiucie jego kariera zaczęła się rozwijać bardzo szybko, aż do poważnego wypadku samochodowego w 1959. Po tym zdarzeniu rozstał się z żoną, na jakiś czas oddalił się od aktorstwa, zaczął pracować jako dekorator wnętrz i wkrótce znów się ożenił.
Jego ekranowa kariera znowu nabrała tempa po udziale w filmach wyreżyserowanych przez Sergio Leone pt. Za kilka dolarów więcej i Dobry, zły i brzydki. Stał się wówczas gwiazdą kolejnych, już mniej znanych spaghetti westernów, występując m.in. w filmach Śmierć jeździ konno, czy El Condor. Potem wrócił do Hollywood, ożenił się po raz trzeci i grał w różnych niskobudżetowych filmach akcji. Ostatnim głośnym filmem w jego karierze była Ucieczka z Nowego Jorku (1981) w reż. Johna Carpentera.
Życie prywatne W 1943 poślubił swoją przyjaciółkę Patsy Ruth Kahle, z którą miał później trójkę dzieci. W 1958 rozwiódł się z Patsy, a dwa lata później został mężem Joan Marjorie Drane. Jego trzecią żoną była Barbara Havelone, z którą ożenił się w 1976.