Konflikt z katechetą zmusił Zarembę do opuszczenia szkoły i przeniesienia się do Gimnazjum Michała Kreczmara, sympatyka PPS.

W 1912 został członkiem Polskiej Partii Socjalistycznej (PPS), a w tym samym roku na zjeździe ZMPN został wybrany do pięcioosobowego Centralnego Komitetu (razem ze Stefanem Dziugiełłem, Stefanem Starzyńskim, Tadeuszem Święcickim i Tadeuszem Żarskim).

Po wstąpieniu do PPS przyłączył się do zwolenników Feliksa Perla i PPS-Opozycji. W 1914 uczestniczył w ogólnokrajowej konferencji PPS-Opozycji w Krakowie. Na kilka tygodni przed wybuchem wojny został aresztowany i osadzony w więzieniu, które opuścił po ośmiu tygodniach. W tym samym roku zdał egzaminy maturalne.

W tym czasie współpracował z Tadeuszem Szturm de Sztremem organizującym Oddział Lotny Wojsk Polskich nawiązujący do tradycji Organizacji Bojowej PPS.

Konieczność ukrywania się przed policją spowodowała, że wyjechał najpierw pod Ostrołękę, a następnie już z żoną Natalią (poznaną w ZMPN) do Kijowa i dalej do Charkowa, gdzie pracował i na miejscowym uniwersytecie studiował prawo. W maju 1915 razem z żoną założył na uniwersytecie Unię Młodzieży Postępowo-Niepodległościowej.