W czasie pracy w firmie Edisona zetknął się z problemem ciemnienia wewnętrznej strony bańki lamp żarowych i zjawiskiem termoemisji odkrytym przez Edisona w 1882 roku i zaczął zgłębiać ten problem. W czasie pracy w Marconi Company zajmował się między innymi poszukiwaniem odpowiedniego detektora do wykrywania bardzo słabych drgań elektrycznych wysokiej częstotliwości, uzyskiwanych w antenie odbiorczej. Eksperymentując z żarówką z dodatkową płytką podłączaną do różnych napięć odkrył zjawisko prostowania prądu (prąd przez płytkę płynął tylko gdy była ona podłączona do dodatniego napięcia). Próba wykorzystania tego zjawiska do detekcji fal zakończyła się sukcesem. W związku z tym 16 listopada 1904 roku Fleming zgłosił wniosek do urzędu patentowego i 13 listopada 1905 roku uzyskał patent numer 803684. Do roku 1926 był członkiem Royal Society.
W następnych latach zajmował się dalszym udoskonalaniem diod. W roku 1926 przeszedł na emeryturę, a dwa lata później, w 1928 uzyskał tytuł szlachecki. Na emeryturze ciągle był aktywny, został m.in. przewodniczącym Television Society.