W latach 1981–1984 był pierwszym dyrygentem gościnnym City of Birmingham Symphony Orchestra, w 1982 pierwszym dyrygentem Gothenburg Symphony Orchestra, a w latach 1984–1988 pierwszym dyrygentem Scottish National Orchestra w Glasgow. W 1990 został mianowany dyrektorem muzycznym Detroit Symphony Orchestra, stanowisko to piastował do 2005. W latach 2005–2009 był pierwszym dyrygentem i dyrektorem muzycznym New Jersey Symphony Orchestra, a następnie dyrektorem muzycznym Residentie Orchestra of The Hague i Orchestre de la Suisse Romande.
Nagrania Järvi jest jednym z najczęściej nagrywanych dyrygentów na świecie. W swoim dorobku ma ponad 400 płyt nagranych dla wytwórni Deutsche Grammophon, Chandos, BIS, Orfeo, EMI, BMG. Najbardziej znaczące są cykle dzieł orkiestrowych Prokofjewa, Szostakowicza, Richarda Straussa, Mahlera, Dvořáka, Głazunowa, Griega, Sibeliusa, Nielsena i Brahmsa. Promuje też mniej znanych kompozytorów, takich jak Wilhelm Stenhammar, Hugo Alfvén, Niels Wilhelm Gade, Franz Berwald, Johan Svendsen, Johan Halvorsen oraz kompozytorów z jego rodzinnej Estonii, m.in. Rudolfa Tobiasa, Artura Kappa, Eduarda Tubina i Arvo Pärta. Mimo późnego wieku wciąż jest aktywny zawodowo.