Gribanow został naczelnikiem II Zarządu Głównego KGB, odpowiedzialnym za bezpieczeństwo wewnętrzne i kontrwywiad. Na tym stanowisku zajmował się m.in. sprawą pułkownika Pieńkowskiego, oficera radzieckiego wywiadu wojskowego GRU, który uważany jest za najważniejszego szpiega zimnej wojny. 14 stycznia 1956 Gribanow został awansowany na generała-majora, a 23 lutego 1961 na generała-porucznika.
Oleg Gribanow i kierowany przez niego II Zarząd całkiem przypadkowo wpadł na ślad pułkownika Pieńkowskiego. Bogusław Wołoszański w swojej książce Władcy Ognia przedstawił to następująco:
Dalsza służba Sprawując stanowisko naczelnika II Zarządu Głównego KGB, Gribanow jednocześnie od września 1959 był członkiem kolegium KGB. W 1964 został przesunięty do rezerwy KGB, następnie w 1965 przeszedł na emeryturę.
Odznaczenia Order Czerwonego Sztandaru (dwukrotnie - 25 czerwca 1954 i 18 grudnia 1956) Order Czerwonej Gwiazdy (25 lipca 1949) Order Znak Honoru (20 września 1943) Medal za Odwagę (1940) Medal Za Zasługi Bojowe Medal 100-lecia urodzin Lenina Medal za Zwycięstwo nad Niemcami w Wielkiej Wojnie Ojczyźnianej 1941-1945 Medal jubileuszowy „40 lat Sił Zbrojnych ZSRR” (1958) Odznaka „Zasłużony Pracownik NKWD” (6 lutego 1943)