Z początkiem sezonu 1910/1911 podpisał dwuletni kontrakt z lwowskim Teatrem Wielkim, występował w operze Carmen Bizeta. W tym okresie kontynuował studia muzyczne u mistrza Guagni w Mediolanie. W 1912 został zaproszony do występu w Hofoper w Wiedniu, po którym dostał propozycję i podpisał trzyletni kontrakt z Volksoper. Sezon operowy 1915/1916 spędził w Wiesbaden. W latach 1916–1919 śpiewał w operze w Darmstadt. W tym okresie występował też w Pradze, Bukareszcie, Dreźnie, Stuttgarcie, Berlinie i Monachium.
W 1919 przeniósł się z żoną, Janiną Cybulską, do Berlina, ponieważ podpisał dwuletni kontrakt z tamtejszą operą. Podczas tego pobytu nagrał wiele płyt gramofonowych. W czasie występów w Berlinie doszło do spotkania z przedstawicielami Metropolitan House Metropolitan Opera z Nowego Jorku, którzy zaproponowali mu pięcioletni angaż. Było to w czasie, gdy Enrico Caruso złożony ciężką chorobą wycofał się ze sceny. Józef Mann przygotowywał się do występów w języku angielskim, pracując nad główną rolą w operze Miasto umarłych. Podróż do Ameryki zaplanował na dzień 18 października 1921. Przed wyjazdem miał wziąć jeszcze udział w czterech spektaklach w Berlinie. Drugim przedstawieniem, w którym śpiewał była Aida. 5 września 1921, podczas tego przedstawienia, po skończeniu II aktu, przy schodzeniu ze sceny doznał ataku serca i zmarł.