Po roku grał już na gitarze zawodowo.
W 1948 rozpoczął karierę w triu pianistki Margie Hyams. Następnie, w latach 1949–1953 grał z wibrafonistą Redem Norvo i jego triem, którego członkiem był początkowo kontrabasista Charles Mingus. Współpraca z The Red Norvo Trio przyniosła mu sławę w świecie jazzu. Jego olbrzymie dłonie i umiejętność grania w zawrotnych tempach łagodnie brzmiących fraz uczyniły go jednym z najlepszych gitarzystów tamtej epoki.
Mieszkał wtedy w Nowym Jorku w kamienicy przy West 93rd Street. Jego współlokatorami byli gitarzyści Jimmy Raney i Sal Salvador. Do częstych gości należeli Johnny Smith i John Collins, którzy pragnęli uczestniczyć w często organizowanych gitarowych jam sessions. Ponadto od czasu do czasu pomieszkiwali tam saksofonista Phil Woods i perkusista Joe Morello.
W 1953 po półrocznej pracy w grupie Artie Shaw and the Gramercy Five założył trio, w którym grali także kontrabasista Vinnie Burke oraz pianista i wibrafonista Eddie Costa. W 1954 redakcja prestiżowego miesięcznika jazzowego „DownBeat” przyznała mu Nagrodę Nowej Gwiazdy (The New Star Award). Dwa lata później zajął pierwsze miejsce w kategorii „Gitara” w dorocznym plebiscycie krytyków ww. czasopisma.