Dzierżyński był jednocześnie ludowym komisarzem spraw wewnętrznych i przewodniczącym GPU, przykładając więcej sił i uwagi na piony bezpieczeństwa państwowego, wywiadu i kontrwywiadu, czyli GPU, wywodzącego się z jego byłej organizacji Czeki, niż do reszty NKWD, spełniającego wówczas rolę resortu porządku i ładu publicznego i gospodarczo-administracyjnego.

Struktury GPU nie odbiegały od struktur rozwiązanej Czeka. W kwietniu 1922 utworzono Wydział Wschodni GPU, w maju 1922 Wydział Kontrwywiadowczy (KRO) GPU i w sierpniu 1922 – Wydział Prawny GPU.

GPU przy NKWD RFSRR, odpowiedzialny był za: wykrywanie i zwalczanie działań kontrrewolucyjnych i bandytyzmu; walka ze szpiegostwem; ochrona kolei i dróg wodnych; zabezpieczenie granicy RFSRR; walka z kontrabandą.

Centralne Organy kierownicze GPU (do 2 listopada 1923) Struktura Organizacyjna GPU NKWD RFSRR