W Czeka/OGPU/NKWD Do Armii Czerwonej wstąpił w marcu 1918 i do kwietnia 1919 dowodził oddziałem. Także od 1919 członek Partii Socjalistów Rewolucjonistów (PSR). W lipcu 1919 wstąpił do Czeka, gdzie był naczelnikiem oddziału. W 1920 przeniesiony do Moskwy, gdzie od sierpnia 1920 do 21 września 1921 stał na czele Oddziału Specjalnego Czeka (OO), zajmując się kontrwywiadem i kontrolą Armii Czerwonej. W następnych latach dwukrotnie aresztowany w grudniu 1921 oraz w 1922. Pod koniec 1923, powrócił do OGPU, gdzie tym razem został skierowany do Zarządu zagranicznego (INO) przy OGPU, jako tzw. nielegał. W grudniu 1923 wyjechał z zadaniem do Palestyny, gdzie przebywał do 1925. Po powrocie do ZSRR służył jako nielegał kolejno w Belgii, a następnie we Francji, gdzie przebywał w Paryżu do 1929.
Grupa Jaszy i gen. Kutiepow Po powrocie do ZSRR został mianowany szefem I Oddziału (do zadań specjalnych) Wydziału Zagranicznego OGPU. Sprawując to stanowisko wyjechał do Paryża, gdzie dowodził akcją porwania generała Aleksandra Kutiepowa. Po powrocie z Paryża został oficerem rezerwy INO-OGPU/GUGB, aż do drugiej połowy 1934. Mimo to wyjeżdżał za granicę jako nielegał, m.in. do Stanów Zjednoczonych w 1932 i do Francji w 1934 roku.