Został szefem kontrwywiadu 12 Armii, organizował grupy dywersyjne na tyłach Wojska Polskiego, walczył z powstańcami ukraińskimi.
Od grudnia 1920 naczelnik wydziału śledczo-agenturalnego Czeka guberni archangielskiej, odpowiadał m.in. za filtrację oficerów Białej Armii w obozach koncentracyjno-filtracyjnych na sowieckiej północy.
Od lipca 1921 prokurator w najwyższym trybunale przy WCiK, od stycznia 1923 prokurator Kolegium Karno-Kasacyjnego Sądu Najwyższego RFSRR. Po ukończeniu kursów prawoznawczych przy Uniwersytecie Moskiewskim został w maju 1924 kierownikiem wydziału w Departamencie Finansowym OGPU (którym kierował jego kuzyn Zinowij Kacnelson), następnie zastępcą Kacnelsona – szefa departamentu, później naczelnikiem ochrony pogranicza garnizonu Suchumi.
W 1926 przeniesiony do INO OGPU (wywiadu zagranicznego). Początkowo rezydent w Paryżu po przykrywką urzędnika misji handlowej ZSRR we Francji, w 1928 przeniesiony do rezydentury berlińskiej INO pod przykrywką radcy handlowego poselstwa ZSRR w Republice Weimarskiej. W 1930 powrócił do ZSRR, objął funkcję naczelnika VII wydziału (wywiad gospodarczy) INO OGPU. W 1932 w czasie krótkiej misji w USA zdobył paszport amerykański na nazwisko Williama Holdina.