Powstała pod koniec 1947 grupa Soft Winds była wzorowana na triu Nata „Kinga” Cole’a. Choć zyskała uznanie krytyki, nigdy nie osiągnęła sukcesu komercyjnego. Istniała do 1952. W tym czasie Oscar Peterson podczas swojej wizyty w Buffalo zagrał z Ellisem na nocnym jam session. Kiedy rok później Barney Kessel odszedł z tria Petersona, ten na jego miejsce zaangażował Ellisa, tworząc „najwspanialsze w historii jazzu trio o składzie: fortepian, kontrabas i gitara”. Grając w grupie Petersona, której trzecim członkiem był Ray Brown, Ellis stał się jednym z najbardziej cenionych gitarzystów jazzowych. Trio stanowiło również „firmową sekcję rytmiczną” wytwórni płytowej Verve Normana Granza, akompaniując m.in. takim gwiazdom jak Ben Webster, Dizzy Gillespie, Ella Fitzgerald, Louis Armstrong i Stan Getz. Było ponadto filarem koncertów Jazz at the Philharmonic, organizowanych przez Granza w USA, Europie i Japonii.
W listopadzie 1958 Ellis odszedł z tria Petersona i do 1960 jeździł z koncertami jako członek zespołu Elli Fitzgerald. Zmęczony ciągłymi podróżami, w 1962 osiadł w Los Angeles i skoncentrował się głównie na pracy muzyka studyjnego.