W 1956 został dyrektorem Festiwali Mozartowskich w Salzburgu. W 1967 r. otworzył Osterfestspiele (Festiwal Wielkanocny w Salzburgu), gdzie przez kilkadziesiąt lat nie tylko dyrygował wielkimi dziełami operowymi, ale również je reżyserował. W latach 1955–1964 kierował Operą Wiedeńską (inscenizacje oper Verdiego i Pucciniego oraz dramatów muzycznych Richarda Wagnera). alt=|mały|Herbert von Karajan podczas koncertu w Brazylii (1973) W Metropolitan Opera wystąpił dopiero w 1967 roku. Od 1957 zajmował się reżyserowaniem dyrygowanych przez siebie oper, zwłaszcza kompozytorów włoskich i Wagnera.

W roku 1958 50-letni wówczas von Karajan po 16 latach małżeństwa rozszedł się ze swoją drugą żoną i ożenił po raz trzeci z paryską modelką Eliette Mouret. Miał dwie córki: Isabel (ur. 1960) i Arabel (ur. 1964).

Był animatorem nowych technik audiowizualnych – 15 kwietnia 1981 roku zaprezentował na Festiwalu Wielkanocnym w Salzburgu (Osterfestspiele) pierwszy odtwarzacz płyt CD. Dzięki nowoczesnym mediom stworzył imperium muzyczne;