Do próby zamachu na Oboleńskiego doszło 29 lipca 1902 w Charkowie. Gerszuni udał się razem z zamachowcem, Fomą Kaczurą, do teatru w ogrodzie Tivoli. W czasie antraktu Kaczura oddał dwa strzały w kierunku gubernatora, jednak zdołał jedynie go zranić. Gerszuni zbiegł z miejsca zdarzenia, natomiast Kaczura, aresztowany, złożył obszerne zeznania, wskazujące na pomysłodawcę zamachu. W styczniu 1903 organizacja bojowa została zdziesiątkowana aresztowaniami, jednak sam Gerszuni uniknął pojmania. Zorganizował natomiast kolejny zamach, którego ofiarą padł 6 maja 1903 w Ufie miejscowy gubernator Nikołaj Bogdanowicz, winny brutalnej pacyfikacji strajku robotników w Złatoustowie. Gerszuni, śledzony przez policyjnych agentów, zdołał zbiec z Ufy do Kijowa i dopiero tam został 13 maja aresztowany na dworcu kolejowym.