Lider i aranżer W 1928 Carter sformował swój pierwszy zespół, z którym przez krótki okres występował w nowojorskiej sali tanecznej „Arcadia”, oraz dokonał z orkiestrą Johnsona swoich debiutanckich nagrań. Pod koniec tego samego roku przeszedł do big-bandu Fletchera Hendersona. Carter „odświeżył” brzmienie orkiestry dzięki swoim nowatorskim aranżacjom, zwłaszcza dla sekcji saksofonów. Tylko Carter potrafi sprawić, że sekcja saksofonowa „śpiewa” jak wielogłosowe „saksofonowe organy”. Niedługo po przyjściu Cartera, Henderson w trakcie tournée opuścił orkiestrę. Muzycy natychmiast powołali nowego bandlidera, którym został 21-letni Benny. Carter szybko stał się cenionym aranżerem, z którego orkiestracji korzystali także Benny Goodman i Duke Ellington.
W 1931 został kierownikiem muzycznym bardzo popularnej wówczas, działającej w Detroit, orkiestry McKinney's Cotton Pickers. W jej składzie znajdowali się m.in. tak znakomici muzycy jak Rex Stewart, Fats Waller, Coleman Hawkins i Doc Cheatham. W tym czasie był już wirtuozem saksofonu altowego i wraz z Johnnym Hodgesem uchodził za najwybitniejszego przedstawiciela tego instrumentu w ówczesnym jazzie. Jednakże w zespole Cotton Pickers częściej grywał na trąbce, chcąc poszerzyć swój warsztat instrumentalny.