Najistotniejsze i najważniejsze dla funkcjonowania tajnych służb komórki (Wydziały: Polityczny, Specjalny, Kontrwywiadowczy i Zagraniczny), które miały istotny wpływ na działalność GZBP zostały sformowane już w latach 1918–1920, choć nie działały samodzielnie.
Na polecenie Stalina Centralny Komitet Wykonawczy ZSRR i Rada Komisarzy Ludowych ZSRR podjęły 15 grudnia 1930 roku decyzję o całkowitym rozwiązaniu Ludowego Komisariatu Spraw Wewnętrznych RFSRR (NKWD RFSRR) oraz jego terenowych organów i przekazaniu całości problematyki administracyjnej, milicyjnej, milicyjnych zakładów śledczych i karnych do kompetencji OGPU przy Radzie Komisarzy Ludowych i jego terenowych komórek tj. Pełnomocnych Przedstawicielstw. Podczas tej zmiany zlikwidowano także Tajny Zarząd Operacyjny, a podległe mu komórki wymienione powyżej uzyskały samodzielność i tak weszły do nowo powstałego GUGB NKWD.
Samodzielność, jaką posiadały, pozwoliły na większą i szybszą działalność w podejmowaniu decyzji bez wchodzenia w ogromną partyjną machinę biurokratyczną i dublujących się sekretariatach Ludowego Komisariatu Spraw Wewnętrznych.
Struktura GUGB 1 stycznia 1935 Ludowy Komisarz Spraw Wewnętrznych (NKWD) Gienrich Jagoda; I Zastępca Ludowego Komisarza Spraw Wewnętrznych Jakow Agranow (nadzór nad GUGB). Etatowo 1410 ludzi.