Został szybko dostrzeżony w roli filmowca Pete’a Shepparda w komedii romantycznej George’a Cukora To może się zdarzyć każdemu (It Should Happen to You, 1954) z Judy Holliday. Jako Frank Thurlowe Pulver w komediodramacie wojennym CinemaScope Mister Roberts (1955), przy którym pracowało trzech reżyserów: John Ford, Mervyn LeRoy i Joshua Logan, otrzymał Oscara dla najlepszego aktora drugoplanowego. Za kreację prezesa podupadającej firmy odzieżowej, Harry’ego Stonera, który przeżywa kryzys wieku średniego w dramacie Johna G. Avildsena Ocalić tygrysa (1973), zdobył Oscara dla najlepszego aktora pierwszoplanowego.
Był ulubionym aktorem reżysera Billy’ego Wildera. Lemmon zagrał w 7 jego filmach: Pół żartem, pół serio (1959), Garsoniera (1960), Słodka Irma (1963), Szczęście Harry’ego (1966), Avanti! (1972), Strona tytułowa (1974), Najlepszy kumpel (1981).
Życie prywatne 7 maja 1950 poślubił Cynthię Boyd Stone, z którą miał syna Christophera (ur. 22 czerwca 1954). 4 grudnia 1956 doszło do rozwodu. 17 sierpnia 1962 ożenił się z aktorką Felicią Farr, z którą był w związku do swojej śmierci. Mieli córkę Courtney (ur. 7 stycznia 1966), której ojcem chrzestnym został Billy Wilder.