Powrót do USA W 1938 Carter powrócił do Nowego Jorku. Big-bandy, których brzmienie sam przed kilku laty kształtował, cieszyły się wielkim powodzeniem. Sformował więc swoją kolejną orkiestrę, która w latach 1939–1940 występowała głównie w słynnym „Savoy Ballroom” w Harlemie. Na jego aranżacje nadal było duże zapotrzebowanie. W swoich nagraniach wykorzystywali je tacy bandliderzy jak Benny Goodman, Count Basie, Glenn Miller, Gene Krupa, Tommy Dorsey i Duke Ellington. Carter był także cenionym kompozytorem i współtwórcą standardów swingowych: When Lights Are Low, Blues in My Heart, Lonesome Nights oraz przeboju Cow-Cow Boogie, wylansowanego przez wokalistkę Ellę Mae Morse.
W 1941 Carter zmniejszył swój zespół do sekstetu, w którym grali pionierzy bebopu: Dizzy Gillespie i Kenny Clarke. Rok później ponownie go zreorganizował, powracając do składu big-bandowego. Wraz z orkiestrą przeniósł się także do Los Angeles. W połowie lat 40. występowało w niej wielu jazzowych modernistów, m.in. Miles Davis, Max Roach, J.J. Johnson i Art Pepper, dla których Carter był muzycznym nauczycielem i mentorem.