Gdy w 1916 roku Brytyjczycy ewakuowali wojska z Gallipoli, żydowski korpus został rozwiązany, a żołnierze ewakuowani do Wielkiej Brytanii, gdzie stali się zalążkiem Legionu Żydowskiego.
Decyzja o powstaniu Legionu 18 lipca 1917 Lord Edmond James de Rothschild przedstawił pierwszemu sekretarzowi brytyjskiego rządu Lordowi Arthurowi Balfour propozycję utworzenia żydowskich oddziałów wojskowych do walki z Turkami w Palestynie. 23 sierpnia rząd Wielkiej Brytanii zgodził się na utworzenie pierwszych żydowskich batalionów.
Utworzenie Legionu Jako pierwszy został sformowany 38. batalion Royal Fusiliers. Rekrutacja i szkolenie ochotników rozpoczęło się 20 stycznia 1918 w Plymouth w Wielkiej Brytanii. 5 lutego opuścili Anglię i w marcu przybyli do Egiptu. 11 czerwca oficjalnie weszli w skład 31 Brygady, 10 Dywizji. 25 lipca wyłączona z Brygady i przyłączona do Anzac Mounted Division (dywizja piechoty, używająca koni do szybkiego przemieszczania się, złożona z jednostek z Australii, Nowej Zelandii i innych) na terenie Palestyny. 39. batalion Royal Fusiliers został sformowany 21 stycznia 1918 w Plymouth. W kwietniu opuścił Anglię i przybył do Egiptu. We wrześniu został włączony do Anzac Mounted Division.