Wzorem dla niego był Doc Cheatham, którego określał jako swojego „profesora” gry na trąbce. Początkowo Carter nie miał własnego instrumentu i pożyczał ją od Cheathama. Po niecałych dwóch latach jego nagrania jako trębacza dorównywały poziomem jego nagraniom saksofonowym.
W 1932 Carter powrócił do Nowego Jorku, żeby założyć własny big-band, The Chocolate Dandies. Do współpracy zaprosił gwiazdorów swingu: saksofonistę tenorowego Leona „Chu” Berry’ego, puzonistę Dicky’ego Wellsa, pianistę Teddy’ego Wilsona i perkusistę Sida Catletta. Zespół ten (tak jak wszystkie formacje Cartera) wyróżniał się bardzo wysokim poziomem muzycznym i dzięki temu szybko zyskał miano „orkiestry muzyków”. Carter w znacznym stopniu przyczynił się do krystalizacji swingu jako stylu, pozbawiając tę muzykę dotychczasowych, rozbudowanych ozdobników obecnych w grze orkiestr tanecznych, eksponując rytm i nadając improwizacjom znaczenie równe kompozycji. Wiele spośród wyrafinowanych aranżacji Cartera (np. utworu Blue Lou) stało się standardami orkiestracji swingowej, zapisy których wykorzystywały także inne big-bandy. Brzmienie saksofonowe uzyskane przez Cartera w nagraniach jego orkiestry z 1933 – choćby w Symphony in Riffs albo Lonsome Nights – to zupełnie nowa barwa brzmieniowa, która odtąd miała zyskiwać w jazzie coraz większe znaczenie.