Był przewodniczącym lokalnej grupy KPD w Zuffenhausen (1919–1920), a następnie funkcjonariuszem KC KPD (–1923). Wykładał w szkołach KPD (1921–1930). Od 1923 był kier. wydziału rolnictwa Komitetu Centralnego KPD (1923–1933) i członkiem Międzynarodowego Komitetu Pracowników Rolnictwa i Leśnictwa, członkiem zarządu Federacji Rolników Rzeszy (Reichsbauernbund) (1924–), posłem do pruskiego Landtagu (Preußischer Landtag) (1928–), członkiem Międzynarodowej Rady Rolników w Moskwie (1930–) oraz funkcjonariuszem Europejskiego Komitetu Rolników (1931–). Pełnił obowiązki nielegalnego instruktora KC KPD w płd.-zach. Niemczech, w rejonie Badenii, Saary, Frankfurtu nad Menem i Kassel (–1933).
W 1933 Rau został aresztowany i skazany w 1934 przez Sąd Ludowy (Volksgerichtshof) z oskarżenia o „spisek w celu popełnienia zdrady stanu” na dwa lata więzienia, m.in. w aresztach we Frankfurcie nad Menem i berlińskim Moabicie, oraz w więzieniu w Luckau (1935). Po uwolnieniu, w 1935 wyemigrował przez Czechosłowację do ZSRR, gdzie był zastępcą szefa Międzynarodowego Instytutu Rolniczego w Moskwie, szkolił się w szkole oficerskiej w Riazaniu. W 1937 wyjechał do Hiszpanii, gdzie uczestniczył w hiszpańskiej wojnie domowej, m.in. jako instruktor szkoły wojskowej, komisarz polityczny, szef sztabu XII Brygady Międzynarodowej im.