Dzięki umiejętnościom nuncjusza udało się zachować kontrolę nad szkołami przez zsekularyzowanych księży. Te działania sprawiły, że papież Pius VI zaproponował Garampiemu bardziej prestiżową nuncjaturę w Cesarstwie Rzymskim Narodu Niemieckiego i Królestwie Węgier. Ze stanowiska dyplomatycznego w Warszawie zrezygnował w 1775 roku, a 23 marca 1776 został nuncjuszem przy cesarzu. Dwa miesiące później, 20 maja został także arcybiskupem ad personam Montefiascone (współcześnie diecezja Viterbo).
Do Wiednia Garampi przyjechał, odwiedzając po drodze Śląsk, Prusy i Saksonię. Z pomocą arcybiskupa Wiednia Christopha Antona von Migazziego przeciwstawił się kościelnej polityce józefinizmu. Zaostrzyło to sytuację przedstawicieli Stolicy Piotrowej z rządem cesarskim, a sam Garampi zaczął być określany mianem „nieprzejednanego fanatyka”. Doprowadziło to do pogorszenia relacji Rzymu i Wiednia, lecz gdy Pius VI odbył podróż na spotkanie z Józefem II Habsburgiem, nuncjusz był obecny przy negocjacjach.