W październiku 1939 roku władze niemieckie mianowały go Przełożonym Starszeństwa Żydów w Łodzi. Rumkowski sprawował w getcie łódzkim dyktatorską władzę, bezwzględnie tłumiąc wszelką opozycję oraz niezależne od Judenratu formy aktywności społecznej i ekonomicznej. Za cel postawił sobie przekształcenie getta w „miasto pracy”, licząc, że dzięki posłuszeństwu i zapewnieniu okupantom znaczących korzyści ekonomicznych, uchroni jego mieszkańców przed niemieckimi represjami. Po rozpoczęciu deportacji z getta łódzkiego do obozu zagłady w Chełmnie nad Nerem wraz z aparatem Judenratu współorganizował transporty śmierci, wierząc, że zdoła uratować część łódzkich Żydów kosztem życia pozostałych. Od jesieni 1942 roku jego pozycja w getcie znacznie osłabła, niemniej usiłował realizować dotychczasową politykę. Pod koniec sierpnia 1944 roku, w ramach akcji ostatecznej likwidacji getta łódzkiego, został wywieziony wraz z rodziną do obozu zagłady Auschwitz II – Birkenau.
Rumkowski jest najbardziej kontrowersyjnym i budzącym największe emocje spośród wszystkich przewodniczących Judenratów, które powstały na ziemiach okupowanych przez nazistowskie Niemcy.