W 1954 w stopniu pułkownika był delegowany na Węgry, jako I zastępca przedstawiciela KGB ZSRR. W tym czasie blisko współpracował z Jurijem Andropowem, który był ambasadorem ZSRR na Węgrzech. W czasie powstania na Węgrzech został ciężko ranny, w następstwie czego długo leczył się we lwowskich i moskiewskich szpitalach. W 1956 został szefem wydziału II Głównego Zarządu KGB Rady Ministrów ZSRR, który zajmował się pracą kontrwywiadowczą w strukturach antyradzieckich organizacji emigracyjnych. W 1959 został szefem oddziału kontrwywiadu. Od 1962 do listopada 1969 kieruje utworzoną z jego inicjatywy służbą kontrwywiadu zagranicznego.
W grudniu 1969 awansowany do stopnia generała majora zostaje zastępcą szefa II Zarządu Głównego KGB, a 2 września 1970 zostaje wyznaczony na stanowisko szefa II Zarządu Głównego KGB. Pod jego kierownictwem został opracowany system, który umożliwił rozpracowanie wielu agentów wywiadu zagranicznych organizacji wywiadowczych. W wyniku tych prac został ujawniony cały szereg głęboko zakonspirowanych agentów CIA oraz innych organizacji wywiadowczych. Wśród nich był II sekretarz Ministerstwa Spraw Zagranicznych ZSRR – Aleksandr Ogorodnik, pracownicy GRU, pracownicy przemysłu lotniczego, Aerofłotu, Banku Państwowego ZSRR.