Po wypuszczeniu na wolność został poddany inwigilacji przez policję. W maju 1933 został członkiem komitetu komunistycznej młodzieżówki w Budapeszcie. Partia zaoferowała mu wówczas studia na Uniwersytecie Lenina w Moskwie, ten jednak odmówił, twierdząc, że nie chce opuszczać rodziny. W dalszym ciągu żył w ubóstwie. Do więzienia trafił jeszcze kilkukrotnie. W trakcie odbywania jednego z wyroków poznał Mátyása Rákosiego. Rákosi będący byłym komisarzem Węgierskiej Republiki Rad stał się w okresie międzywojennym jednym z najbardziej znanych węgierskich więźniów politycznych. Obydwaj działacze zaprzyjaźnili się. Pod koniec lat 30. w obliczu faktycznego rozbicia ruchu komunistycznego wraz z kilkoma znajomymi János dołączył do Węgierskiej Partii Socjaldemokratycznej, pozostając jednak zwolennikiem ideologii komunistycznej.