W restauracji zrabowano „500 tysięcy marek, złote pieniądze, dwa srebrne zegarki, złoty łańcuszek, ubranie, bieliznę, około 100 butelek wódki, likier i jedzenie”. Przebrani za policjantów próbowali bezskutecznie włamać się na plebanię rzymskokatolicką. Opuścili Kleszczele na zrabowanej furmance.
W odwecie za napad kleszczelski władze zorganizowały obławę z udziałem sił policji i wojska. 6 maja po potyczce w Puszczy Białowieskiej pojmano pięciu dywersantów. 24 maja sąd doraźny w Białymstoku skazał czterech z nich na śmierć. Byli to Andrzej Tomaszuk, Demian Martyniuk, Iwan Sacharczuk i Iwan Piceluk. Najmłodszemu, 16-letniemu Pantelejmonowi Niczyporukowi, karę śmierci zamieniono na dożywotnie pozbawienie wolności. Ci, którzy pozostali na wolności, zaprzestali działalności zbrojnej i zdecydowali się na ucieczkę na Litwę. Podczas próby przekroczenia granicy dwie osoby zostały zatrzymane, pozostali wrócili do swoich wiosek. Sam Herman Szymaniuk jesienią 1922 zamierzał przejść na stronę polską, ale zażądano od niego ujawnienia całej struktury konspiracyjnej. Fakt ten oraz wyroki śmierci wydane na członków jego oddziału odwiodły go od pierwotnych zamiarów. Zdecydował się na ucieczkę do Białoruskiej SRR. Według niepotwierdzonych informacji został dyrektorem fabryki obuwia w Mohylewie.