Pod wpływem działaczki narodnickiej Jekatieriny Brieszko-Brieszkowskiej zainteresował się zagadnieniem rewolucyjnego terroru. Razem z Brieszkowską i Michaiłem Mielnikowem założył w 1902 Organizację Bojową eserowców – grupę bojową Partii Socjalistów-Rewolucjonistów, której zadaniem miało być przeprowadzanie zamachów na szczególnie znienawidzonych urzędników carskich. Jako pierwsze ofiary wyznaczeni zostali Dmitrij Sipiagin i Konstantin Pobiedonoscew. 2 kwietnia 1902 członek grupy Gerszuniego, Stiepan Bałmaszow, dokonał udanego zamachu na ministra spraw wewnętrznych, Sipiagina. Trzy dni później, w czasie pogrzebu Sipiagina, Gerszuni nakazał Juliji Jurkowskiej i Jewgienijowi Grigoriewowi zamordowanie Pobiedonoscewa, do czego jednak nie doszło. Następnie razem z Mielnikowem wyjechał do Kijowa, gdzie zaplanował kolejny zamach - na gubernatora Charkowa Michaiła Oboleńskiego.