Nagrywał płyty, muzykę do filmów i grał w telewizyjnych zespołach muzycznych, występujących w popularnych programach gwiazd amerykańskiego małego ekranu: Steve’a Allena, Regisa Philbina, Danny’ego Kaye’a, Joeya Bishopa, Delli Reese i Merva Griffina.

W latach 70. XX w. podjął się przedsięwzięcia, na które decydują się tylko niekwestionowani wirtuozi. Zaprosił bowiem do współpracy wybitnych gitarzystów jazzowych. Początkowo występował w duetach z Joe Passem i Barneyem Kesselem. Następnie wraz z Kesselem i Charliem Byrdem stworzył grupę Great Guitars (grywał w niej także Tal Farlow), której liczne koncerty i płyty cieszyły się dużym powodzeniem. Współpracował również z innymi, nie mniej słynnymi gitarzystami – Freddiem Greenem, Laurindo Almeidą i Larrym Coryellem.

Ellis pozostał aktywnym muzykiem niemal do końca lat 90. Kres jego pracy położyła rozwijająca się choroba Alzheimera, która także stała się przyczyną śmierci artystyHerb Ellis – Find a Grave [dostęp 2025-04-21]. Ellis zmarł we własnym domu w Los Angeles o poranku 28 marca 2010.

Małżeństwo W 1956 poślubił Patti z d. Gahagan, która przeżyła męża. Miał z nią dwoje dzieci – córkę, Kari i syna, Mitchella.