uczestniczył w obydwu rewolucjach: lutowej i październikowej.
Karierę w aparacie bezpieczeństwa rozpoczął w 1920, wstępując do Czeka z poręczenia Jakowa Swierdłowa. Stalin zetknął się z nim w Carycynie i poparł dalszą karierę. Według niektórych relacji był szefem kremlowskiego laboratorium toksykologicznego i według niektórych źródeł miał przyczynić się do śmierci Lenina, Maksima Gorkiego i być może Wiaczesława Mienżyńskiego – być może te informacje są jednak echem zeznań, jakie składał podczas procesów pokazowych. Od 1921 członek kolegium (prezydium) Czeka.
Od 1924 drugi zastępca przewodniczącego OGPU Feliksa Dzierżyńskiego, a po jego śmierci w 1926 pierwszy zastępca szefa OGPU Wiaczesława Mienżyńskiego. Był głównym architektem i organizatorem systemu łagrowego. Był kierownikiem projektu budowy Biełmorkanału łączącego Morze Białe z Morzem Bałtyckim. Otrzymał za to Order Lenina. Od listopada 1931 do sierpnia 1933 kopało go blisko 300 tys. więźniów łagrów, z czego jedna trzecia zmarła w trakcie budowy.