W 1928 został skierowany ponownie na przedwczesną emeryturę. Należał do grupy oficerów niebędących zwolennikami przewrotu majowego 1926.
W czasie II wojny światowej w Polskich Siłach Zbrojnych. Od lutego do lipca 1941 dowodził 8 Brygadą Kadrową Strzelców. 7 sierpnia 1941 został wyznaczony na stanowisko zastępcy komendanta Stacji Zbornej Oficerów Rothesay nazywanej „Wyspą Wężów”. Obowiązki objął 9 października 1941, po powrocie z urlopu wypoczynkowego. Od 18 listopada 1941 pełnił obowiązki komendanta stacji, a 12 grudnia 1941 został mianowany komendantem Stacji Zbornej Oficerów RothesayKomenda Stacji Zbornej Oficerów Rothesay. Rozkazy dzienne 1940–1941, Instytut Polski i Muzeum im. gen. Sikorskiego w Londynie, sygn. R.8, s. 163.. Naczelny Wódz, generał broni Władysław Anders mianował go generałem brygady ze starszeństwem z dniem 1 stycznia 1964 w korpusie generałów.
Zmarł 28 stycznia 1970 w Londynie. Pochowany na cmentarzu Highgate.
Kazimierz Rumsza w 1919 ożenił się z Haliną Ejsymont (Eyssymondtt), z którą miał córkę Annę (ur. 1924).