Po śmierci Mienżyńskiego w 1934 Jagoda przejął kierownictwo nad OGPU. Po reorganizacji aparatu bezpieczeństwa w 1934, przekształceniu OGPU w Główny Zarząd Bezpieczeństwa Państwowego i wcielenia go w lipcu do Ludowego Komisariatu Spraw Wewnętrznych (NKWD), Jagoda stanął na czele NKWD. Z rozkazu Stalina rozpoczął wielką czystkę po zabójstwie Siergieja Kirowa.
W 1935 r. otrzymał stopień służbowy generalnego komisarza bezpieczeństwa państwowego (odpowiednik marszałka Związku Radzieckiego) oraz zaprojektował sobie biało-niebieski mundur szamerowany złotem ze złoconym kordzikiem.
W 1936 osobiście aresztował Lwa Kamieniewa i Grigorija Zinowjewa, powiązanych kiedyś z Lwem Trockim, następnie doprowadził do pokazowego pierwszego procesu moskiewskiego.
Od 1933 w narastającym konflikcie ze Stalinem, gdy nie w pełni poparł go w sprawie Riutina. Hamował śledztwo w sprawie Zinowjewa i Kamieniewa i nalegał, aby oddać ich pod sąd Biura Politycznego w pełnym składzie. W efekcie we wrześniu 1936 zwolniony ze stanowiska i mianowany ludowym komisarzem łączności ZSRR.