W czerwcu 1921 roku oficjalnie wstąpił do Czeka. Swoją długoletnią służbę rozpoczął w Azerbejdżańskiej SRR, w tamtejszej Czeka, jako komisarz Oddziału do Walki z Bandytyzmem (OBB). Jeszcze pod koniec 1921 roku został przesunięty także jako komisarz do Oddziału Ekonomicznego (EKO) Azerbejdżańskiej Czeka. Rok później został zastępcą szefa tego Oddziału (EKO), a pod koniec 1922 roku został przeniesiony jako komisarz do Tajnego Oddziału Operacyjnego (СОЧ) Czeka. Po bardzo krótkiej służbie został przeniesiony na to samo stanowisko w Tajnym Oddziale Operacyjnym Gruzińskiej i Zakaukaskiej Czeka, gdzie służył do grudnia 1926 roku.
W międzyczasie nastąpiła reorganizacja służb specjalnych - m.in. w 1922 roku zlikwidowano Czeka i został powołany GPU przy NKWD RFSRR). Po utworzeniu ZSRR, w listopadzie 1923 roku GPU wyodrębniono ze struktur Ludowego Komisariatu Spraw Wewnętrznych (NKWD) RFSRR, a na jego bazie powołano Zjednoczony Państwowy Zarząd Polityczny (OGPU) i podporządkowano bezpośrednio Radzie Komisarzy Ludowych ZSRR.