Karierę zawodową zaczynał od wagi piórkowej w 1902 roku. Już w drugim roku startów spotkał się z mistrzem świata wagi lekkiej Joe Gansem i pokonał go w 15 rundach, ale był to mecz towarzyski. Zanim zorganizowano powtórną walkę, już o tytuł, przybrał na wadze i przeszedł do wagi półśredniej. W tej kategorii, w 1904 roku, spotkał się z mistrzem świata Joe Walcottem i zremisował z nim w 15 rundach. Pojedynek był reklamowany jako walka o tytuł, ale prawdopodobnie obaj przekraczali limit tej kategorii. Tymczasem znalazł się w wadze średniej, którą też szybko przeskoczył i wylądował w półciężkiej, która była dla niego naturalną kategorią. Już w 1905 zaczął się mierzyć z przedstawicielami wagi ciężkiej. W 1906 stoczył pojedynek z Jackiem Johnsonem, późniejszym mistrzem wszechwag i jednym z największych mocarzy ringu. Olbrzymia różnica wzrostu, wagi i doświadczenia spowodowała, że Johnson fatalnie go porozbijał, w rezultacie czego Langford wylądował w szpitalu. Później rozpowszechniano popularną opowieść jakoby walka była wyrównana, ale Nat Fleischer ostatecznie ustalił jak było naprawdę. W kolejnych jednak latach, gdy Sam nabrał doświadczenia, stopniowo wykosił całą czołówkę wagi ciężkiej i półciężkiej, której trzon stanowili pięściarze czarnoskórzy. M.in. 7-krotnie pokonał znakomitego Joe Jeannette’a i 5-krotnie potężnego Sama McVea.