Do bandy należała również jego kochanka Apolena Hoffmann.
Po raz pierwszy został aresztowany po pościgu 19 stycznia 1832 w Kuřích Vodách, kiedy to podczas kontroli dokonywanej przez miejscowego sołtysa Vaclava Franke podejrzany wydał się fałszywy paszport herszta bandy wystawiony na nazwisko Josefa Schmida przez przekupnego pisarza kancelarii miasta Vrchnov, a spod spódnicy Apoleny Hoffmann wypadły dwa załadowane pistolety. Hoffmanowej udało się zbiec. 27 lutego 1832 przewieziono go do więzienia w Mladej Boleslavi. Już na drugi dzień uciekł. Po ucieczce osiedlił się w okolicy Horni Kemenice. Tu 4 lipca 1833 popełnił swe największe przestępstwo. Przed pościgiem uciekł do Kongresówki do Łodzi. 23 kwietnia 1835 Babinský nie zachowując dostatecznej ostrożności odwiedził, pod pseudonimem Anton Müller, swe rodzinne miasto Litomierzyce. Został aresztowany i razem ze swą kochanką i czterema innymi członkami bandy został oskarżony przez sąd kryminalny w Pradze o 12 przestępstw, w tym o 2 morderstwa z rabunkiem. Ponieważ Babinský jako organizator napadów przeważnie pozostawał na drugim planie, nie zawsze mógł być zidentyfikowany przez świadków.