W latach 1963–1964 przebywał w Tunezji, gdzie zajmował się wypracowaniem wzajemnych stosunków prawnych między rządem tego kraju a Kościołem katolickim. Umowa między obu państwami została podpisana w 1964.
3 kwietnia 1965 został mianowany arcybiskupem tytularnym Forontoniana oraz delegatem apostolskim w Afryce Środkowej; jego misja obejmowała Kamerun, Czad, Kongo (Brazaville), Gabon i Republikę Środkowoafrykańską. Otrzymał święcenia biskupie 9 maja 1965 w Rzymie z rąk kardynała Amleta Cicognaniego, sekretarza stanu. Wraz z rozwojem stosunków dyplomatycznych Watykanu z państwami afrykańskimi obejmował kolejno funkcje pronuncjusza w Kamerunie (październik 1966), pronuncjusza w Gabonie (październik 1967) i pronuncjusza w Republice Środkowoafrykańskiej (listopad 1967). W maju 1969 został mianowany nuncjuszem w Peru. Od sierpnia 1973 był wysłannikiem z nadzwyczajnymi pełnomocnictwami do przywrócenia relacji z państwami socjalistycznymi – Polską, Węgrami, Czechosłowacją, Rumunią i Bułgarią, a od lutego 1975 szefem delegacji Watykanu do stałych kontaktów roboczych z Polską. Mimo że kierowanym przez niego watykańskim służbom nie udało się wykryć przygotowań do zamachu na papieża w roku 1981, Jan Paweł II nie stracił zaufania do biskupa Poggi.