W 1926 roku po raz pierwszy wyjechał do Stanów Zjednoczonych, gdzie występował gościnnie z New York Symphony Orchestra. W 1927 roku otrzymał posadę dyrektora Krolloper w Berlinie. Do czasu jej zamknięcia z powodów politycznych i ekonomicznych w 1931 roku zdążył w ciągu 4 sezonów wystawić liczne dzieła twórców nowej muzyki, m.in. Paula Hindemitha, Arnolda Schönberga i Igora Strawinskiego. W 1933 roku poprowadził w berlińskiej Staatsoper przedstawienie Tannhäusera Richarda Wagnera podczas uroczystości 50-lecia śmierci kompozytora. W tym samym roku otrzymał Medal Goethego.
Po dojściu do władzy nazistów z powodu żydowskiego pochodzenia musiał opuścić Niemcy i wyjechał do Stanów Zjednoczonych. W latach 1933–1939 dyrygował orkiestrą Los Angeles Philharmonic, występował także w Nowym Jorku, Filadelfii i Pittsburghu. W 1939 roku przeszedł operację usunięcia guza mózgu, na skutek czego doznał częściowego paraliżu i musiał na kilka lat wycofać się z działalności dyrygenckiej. W 1940 roku otrzymał obywatelstwo amerykańskie. Od 1947 do 1950 roku pełnił funkcję dyrygenta Węgierskiej Opery Narodowej w Budapeszcie. Na skutek ograniczania przez komunistyczne władze swobody działalności artystycznej w 1950 roku opuścił jednak Węgry. Od 1951 roku prowadził Philharmonia Orchestra w Londynie, od 1959 roku pełnił funkcję jej pierwszego dyrygenta.