Jego postać i działania były przedmiotem licznych analiz i polemik oraz stały się inspiracją dla twórców kultury.

Życiorys Do 1918 roku Urodził się 27 lutego 1877 roku w niewielkim miasteczku Ilino w guberni witebskiej Imperium Rosyjskiego, w rodzinie żydowskiej zaliczanej do litwaków. Jego językiem ojczystym był jidysz. Jego rodzicami byli Roman (Ruwen) i Dyna. Rodzina była uboga i religijna, przy czym zdaniem Moniki Polit pod względem religijnym bliższa była mitnagdim niż chasydyzmowi. Ojciec był drobnym kupcem. Chaim miał troje rodzeństwa: brata Józefa, z którym pozostawał szczególnie mocno związany, oraz siostry Rozę i Bertę. Te ostatnie po rewolucji październikowej pozostały w rządzonej przez bolszewików Rosji; bracia utracili z nimi kontakt na początku lat 20.

W młodości pobierał nauki w chederze (lub ), następnie mieli go kształcić prywatni mełamedzi. Joanna Podolska i Szmuel Huppert podają, że uczęszczał również do rosyjskiej szkoły powszechnej, jednakże zdaniem Moniki Polit nie jest pewnym, czy Rumkowski uczył się jakichkolwiek przedmiotów świeckich. Pewnym jest jedynie, że posługiwał się językiem rosyjskim. Miał także posługiwać się niemieckim oraz biernie opanować hebrajski.