Później stał się wziętym epizodystą i aktorem drugoplanowym, występującym w wielu serialach. W takim charakterze pojawił się też w serialach Davida Crofta: Are You Being Served? oraz It Ain’t Half Hot Mum. W 1977 Croft powierzył mu drugoplanową, lecz bardzo wyrazistą rolę prezentera telewizyjnego w krótkotrwałym serialu Podróż pani Noah. W pierwszej połowie lat 80. grywał w rolach szekspirowskich: najpierw w inscenizacji Życia i śmierci króla Jana dla Teatru Telewizji BBC, a następnie w wystawieniu Jak wam się podoba, przygotowanym przez Królewski Teatr Narodowy.

W 1982 Croft obsadził Kaye’a w głównej roli w swoim nowym serialu ’Allo ’Allo!. Grany przez niego René jest właścicielem kawiarni w okupowanej przez Niemców Francji w czasie II wojny światowej, który mimo wyraźnej nadwagi i niezbyt ponętnej aparycji nie może opędzić się od zalotów własnych kelnerek. Kaye wystąpił we wszystkich 84 odcinkach serialu, a także w jego zagranej 1200 razy wersji teatralnej. W 2007 roku po latach powrócił do swej najsłynniejszej roli, występując w odcinku specjalnym Powrót ’Allo ’Allo!