Od 1931 roku pracował w Zarządzie GPU w Leningradzie jako naczelnik Wydziału Specjalnego. Od 1931 roku członek partii bolszewickiej. W latach 30. XX wieku uczestniczył m.in. w śledztwach przeciwko Grigorijowi Zinowjewowi i Lwu Kamieniewowi i przygotowywał procesy pokazowe w okresie tzw. wielkiego terroru (m.in. tzw. pierwszy proces Zinowiewa-Kamieniewa w 1935 roku, I proces moskiewski w 1936 roku i II proces moskiewski w 1937 roku). W trakcie śledztw stosował wobec więźniów bicie i tortury. Większość osób, w których sprawach prowadził śledztwa, rozstrzelano pod fałszywymi zarzutamiIgal Haflin: Stalinist Confessions: Messianism and Terror at the Leningrad Communist University, University of Pittsburgh Press 2009, s. 115, 136–143 .. W 1938 roku uczestniczył w akcji deportacji Niemców z rejonu StawropolaMichael Parrish: The Lesser Terror: Soviet State Security, 1939-1953, Praeger Publishers 1996, s. 99. .. Do kierownictwa NKWD przeszedł w 1938 roku na stanowisko naczelnika oddziału.