W czerwcu 1960 został mianowany sekretarzem w watykańskim Sekretariacie ds. Jedności Chrześcijan. Jako ekspert brał udział w Soborze Watykańskim II (1962–1965). W 1963 otrzymał honorowe tytuły papieskiego tajnego szambelana i prałata domowego. W czerwcu 1964 został mianowany biskupem tytularnym Mauriana i odebrał sakrę biskupią 28 czerwca 1964 z rąk papieża Pawła VI. W kwietniu 1969 najpierw został mianowany prezydentem Sekretariatu ds. Popierania Jedności Chrześcijan, a dwa tygodnie później wyniesiony do godności kardynalskiej; otrzymał diakonię Santi Cosma e Damiano.
Brał udział w wielu sesjach Światowego Synodu Biskupów w Watykanie (był prezydentem-delegatem II sesji nadzwyczajnej w listopadzie i grudniu 1985). W grudniu 1975 został mianowany arcybiskupem Utrechtu i prymasem oraz wikariuszem wojskowym Holandii, utrzymał jednocześnie stanowisko w Kurii Rzymskiej; w tym samym czasie uzyskał nominację na kardynała prezbitera, z tytułem prezbiterskim San Sebastiano alle Catecombe. Uczestniczył w obu konklawe 1978 oraz w I sesji plenarnej Kolegium Kardynalskiego w Watykanie w listopadzie 1979. Pełnił funkcję prezydenta-delegata Specjalnego Synodu Biskupów Holenderskich w Watykanie w styczniu 1980.