Po raz pierwszy trafił na ekran jako tancerz w dramacie wojennym Korowód Narodowego Czerwonego Krzyża (National Red Cross Pageant, 1917) z Ethel Barrymore. Za rolę podejrzanego o morderstwo aroganckiego publicysty Waldo Lydeckera w dramacie kryminalnym noir Ottona Premingera Laura (1944) był nominowany do Oscara dla najlepszego aktora drugoplanowego. Kolejną nominację do Oscara dla najlepszego aktora drugoplanowego i Złoty Glob dla najlepszego aktora drugoplanowego zdobył za kreację Elliotta Templetona w dramacie muzycznym Edmunda Gouldinga Ostrze brzytwy (1946). Jako Lynn Belvedere w komedii Gosposia do wszystkiego (1948) był nominowany do Oscara dla najlepszego aktora pierwszoplanowego. Za postać kapelmistrza i kompozytor marszów wojskowych i operetek Johna Sousy w melodramacie muzycznym Henry’ego Kostera Stars and Stripes Forever (1952) otrzymał nominację do Złotego Globu dla najlepszego aktora w filmie komediowym lub musicalu.
Ukrywał swój homoseksualizm. Prywatnie był oddany swojej starzejącej się matce, z którą mieszkał i która zmarła w 1960, Webb wycofał się z aktorstwa w 1962.