Zanim został aktorem, zarządzał również teatrem przy Hollywood Boulevard i hotelem Bel Air w Los Angeles w Kalifornii. Po raz pierwszy trafił przed kamery w roli zabójcy w 20–minutowym westernie Wędrówka na zachód (Trailin' West, 1944) u boku Chilla Willsa. Stał się znany z charakterystycznych ról drugoplanowych. Warunki zewnętrzne oraz niezwykłe oczy i spojrzenie sprawiły, że był obsadzany zwykle w rolach tzw. czarnych charakterów; głównie w westernach, w tym Vera Cruz (1954; reż. Robert Aldrich), Ostatni zachód słońca (1961; reż. Robert Aldrich), Pewnego razu na Dzikim Zachodzie (1968; reż. Sergio Leone) czy Pat Garrett i Billy Kid (1973; reż. Sam Peckinpah). Elam pojawił się w sumie w blisko 100 filmach i dziesiątkach seriali telewizyjnych. Z aktorstwa wycofał się ostatecznie w 1995.
Zmarł 20 października 2003 w wieku 82 w swoim domu w Ashland w stanie Oregon. Bezpośrednią przyczyną śmierci była niewydolność serca.