Po pierwszych nagraniach Ellis wrócił do Houston, gdzie nadal pracował w radio, a także grał lekkie utwory komediowe (wodewile) w teatrach. W tym okresie, głównie na prośbę pracodawców z radiostacji, zaczął dodawać do gry na pianinie partie wokalne. Jego łagodny głos spodobał się publiczności i w 1927 roku został zaproszony do Nowego Jorku w celu nagrania prób wokalnych. Jego pierwszym wydanym nagraniem był utwór Sunday z wytwórni Columbia. Następnie nagrał kilka innych piosenek dla Okeh Records, wspierany przez małe zespoły studyjne, które sam mógł wybrać. Dzięki temu udało mu się rozpocząć współpracę z wieloma wybitnymi muzykami jazzowymi tego okresu, m.in. takimi jak Tommy i Jimmy Dorsey, Joe Venuti, Eddie Lang, Andy Sanella, a także dwukrotnie zagrał z Louisem Armstrongiem. Nagrywając dla wytwórni Okeh, Ellis śpiewał altem, z czym nie czuł się zbyt swobodnie na początku kariery, gdyż uważał, że jego głos jest zbyt wysoki.
W roku 1931 Ellis wycofał się z życia artystycznego. Pod koniec lat 30. wrócił na estradę ze swoim Big-bandem pod nazwą Choirs of Brass Orchestra, w którym częściowo podkładał wokal. W zespole jako wokalistka występowała również jego żona, Irene Taylor.