W maju 1983 został mianowany biskupem pomocniczym Reggio Emilia; otrzymał tytularną stolicę biskupią Nepte. Sakry biskupiej udzielił mu 29 czerwca 1983 biskup Reggio Emilia, Gilberto Baroni. Od czerwca 1986 biskup Ruini pełnił funkcję sekretarza generalnego Konferencji Episkopatu Włoch; brał udział w szeregu sesji Światowego Synodu Biskupów w Watykanie, w tym w dwóch sesjach specjalnych poświęconych Kościołowi europejskiemu (1991, 1999); zasiadał w sekretariacie generalnym Synodu. W styczniu 1991 został promowany do godności arcybiskupa i mianowany prowikariuszem Rzymu oraz proarchiprezbiterem bazyliki laterańskiej. W tym samym roku został przewodniczącym Konferencji Episkopatu Włoch (pełnił funkcję do marca 2007).
W czerwcu 1991 Jan Paweł II wyniósł go do godności kardynalskiej (z tytułem prezbitera S. Agnese fuori le Mura), co oznaczało także podniesienie do pełnoprawnych funkcji wikariusza generalnego Rzymu i archiprezbitera bazyliki laterańskiej. W latach 1992–1996 kardynał Ruini kierował instytucją Peregrinatio ad Petri Sedem.