sakry biskupiej udzielił mu 31 października 1976 ówczesny arcybiskup Santiago Angel Suquía Goicoechea. Po przejściu arcybiskupa Goicoechei na stolicę metropolitalną madrycką (kwiecień 1983) Rouco Varela został administratorem apostolskim ad nutum Sanctae Sedis Santiago de Compostela, a 9 maja 1984 pełnoprawnym arcybiskupem. Po dziesięciu latach ponownie zastąpił Goicoecheę (wówczas już kardynała) i od lipca 1994 był arcybiskupem Madrytu. Pełni funkcję wielkiego kanclerza Wydziału Teologicznego San Damaso w Madrycie.
21 lutego 1998 Jan Paweł II wyniósł go do godności kardynalskiej, nadając tytuł prezbitera S. Lorenzo in Damaso. Kardynał Rouco Varela brał udział w sesjach Światowego Synodu Biskupów w Watykanie, na II sesji specjalnej dla Kościoła europejskiego pełnił funkcję relatora generalnego (październik 1999). W latach 1999–2005 przewodniczył Konferencji Episkopatu Hiszpanii, w latach 2004–2014 brał udział w pracach Rady Kardynalskiej ds. badania Ekonomicznych i Organizacyjnych Problemów Stolicy Świętej. Reprezentował Jana Pawła II jako jego specjalny wysłannik m.in. na IX Hiszpańskim Narodowym Kongresie Eucharystycznym w Santiago de Compostela w maju 1999.