W trakcie późniejszej polskiej kontrofensywy, pod Chorzelami żołnierze zbrodniczej formacji zostali okrążeni i grupa ich trafiła do niewoli. Stamtąd 200 bolszewików przewieziono do Szydłowa. W meldunku sytuacyjnym 24 sierpnia o północy szef sztabu Sikorskiego, ppłk. Romuald Wolikowski, donosił: „W odwecie za 92 szeregowych i 7 oficerów pomordowanych w okrutny sposób przez 3. korpus kaw. sow. rozstrzelano w dniu dzisiejszym na miejscu egzekucji własnych żołnierzy, 200 wziętych do niewoli Kozaków z 3. korp. kawalerii sowieckiej. Polacy dogonili zbrodniczą jednostkę pod Chorzelami, doprowadzili na miejsce zbrodni i tu przeprowadzili dochodzenie. Zwolniony został jeden z Kozaków, który pod Szydłowem ułatwił ucieczkę polskiemu oficerowi. Pozostałych skazano na śmierć”.
W 1945 r. w Szydłowie wzniesiono pomnik poświęcony poległym żołnierzom radzieckim. Inskrypcja zaczynała się słowami: "Żołnierzom sowieckim poległym w walce z państwem burżuazyjnym o nasze wyzwolenie". Władze co roku składały przy nim kwiaty. W latach 70. tekst zmieniono na: "Żołnierzom radzieckim poległym w tragicznych walkach z 1920 roku". W okresie "Solidarności" bezskutecznie postulowano o usunięcie pomnika.