19 kwietnia 1926 został aresztowany i we wrześniu 1926 skazany na 3 lata więzienia. Był aktywnym działaczem komuny więziennej (w styczniu 1928 został jej kierownikiem). W grudniu 1926 współorganizował ucieczkę więźniów politycznych. Po wyjściu na wolność nielegalnie wyjechał do Moskwy, gdzie pracował w Polsko-Nadbałtyckim Sekretariacie Krajowej Międzynarodówki Komunistycznej i wstąpił do Wszechzwiązkowej Komunistycznej Partii (bolszewików).
W 1932 wrócił do Polski i objął kierownictwo Centralnej Redakcji KPP. W 1933 był jednym z organizatorów strajków robotniczych przemysłu włókienniczego w Łodzi i Białymstoku. W 1934 został ponownie aresztowany i skazany na 12 lat więzienia (ostatecznie karę skrócono do 6 lat i 8 miesięcy). W więzieniu w Rawiczu poznał m.in. Alfreda Lampego, Marcelego Nowotkę, Pawła Findera, Bolesława Bieruta i Mariana Buczka, z którymi działał w komunie więziennej. Wyszedł na wolność po 1 września 1939.