Powołanie Komitetu i Organizacja Drugiego ZG KGB W 1954 roku operujące od 1946 roku i wzmocnione w 1953 roku po śmierci Stalina, Ministerstwo Spraw Wewnętrznych ZSRR, które do tej pory sprawowało całą kontrolę nad służbami specjalnymi ZSRR tj. bezpieczeństwem wewnętrznym w postaci kontrwywiadu wewnętrznego, i wojskowego, służbą bezpieczeństwa w postaci IV Zarządu MSW (Tajno-Politycznego), techniką operacyjną, łącznością rządową wywiadem zagranicznym itd., zostało uszczuplone i przeorganizowane.
Spod kontroli MSW ZSRR wyodrębniono wszystkie komórki operacyjne, które przejął nowo utworzony KGB. W MSW pozostawiono komórki administracyjne oraz milicję.
Jedną z komórek organizacyjnych wyodrębnionych z MSW ZSRR był jego Pierwszy Zarząd Główny odpowiedzialny za kontrwywiad. W nowo utworzonym Komitecie Bezpieczeństwa Państwowego, stał się Drugim Zarządem Głównym.
Od 1954 roku Drugi Zarząd Główny prowadził kontrwywiad, od lutego 1960 roku w KGB dokonano zmian. Zlikwidowano Zarządy: IV: walka z anty-radzieckim podziemiem, organizacjami nacjonalistycznymi i wrogimi elementami V: działania kontrwywiadowcze w obiektach specjalnego znaczenia VI: działania kontrwywiadowcze w sektorze transportu
Kompetencje zlikwidowanych zarządów przejął Drugi Zarząd Główny.