Zdecydował się jednak porzucić tę pracę i próbował swoich sił jako artysta komediowy stand-up w nocnych klubach. Był członkiem improwizującej grupy The Groundlings z Los Angeles. W 1967 zadebiutował w filmie Na wskroś nowoczesna Millie (Thoroughy Modern Millie).
W latach 70. znany był głównie z ról telewizyjnych, m.in. koreańskiego kapitana Sama Paka w serialu komediowym M*A*S*H (1973–1974) i restauratora Matsuo „Arnolda” Takahashiego w sitcomie Happy Days (1975–1976). Po sukcesie jaki odniósł w Happy Days próbował sił w sitcomie własnego pomysłu Mr. T and Tina w telewizji ABC, ale serial ten został zdjęty z anteny już po miesiącu. W późniejszym czasie ponownie występował w Happy Days.
Największą sławę przyniosła mu rola mistrza karate Kesuke Miyagiego w filmie Karate Kid (1984), u boku Ralpha Macchio. Został za swoją kreację nominowany do Oscara (dla najlepszego aktora drugoplanowego) oraz do Złotych Globów. Wystąpił również w roli Miyagiego w trzech filmach kontynuujących serię Karate Kid (1986, 1989, 1994).