W 1938 poślubił Muriel Glubb Rosemary Forbes, córkę lekarza James Graham Forbesa. W 1939 urodził się im w Jerozolimie syn Gotfryd (otrzymał imię na cześć króla Gotfryda z Bouillon). W 1944 adoptowali palestyńską beduińską dziewczynkę, a w 1947 adoptowali jordańskiego beduińskiego chłopca.
W 1939 Glubb został dowódcą Legionu Arabskiego, który zdołał w ciągu kilku lat przekształcić w najlepszą arabską jednostkę wojskową na świecie. Encyklopedia Orientu pisze: „Globb służył swojemu krajowi przez długie lata na Bliskim Wschodzie, co uczyniło go w końcu niezwykle popularnym człowiekiem. Arabscy nacjonaliści uważali, że wywiera on nacisk na króla Abdullaha I, aby przystąpił on do Paktu Bagdadzkiego. Glubb zajmował wysokie stanowisko w Legionie Arabskim, armii Transjordanii. Podczas II wojny światowej poprowadził atak na arabskich przywódców w Iraku, a także prowadził działania przeciwko reżimowi Vichy w Libanie i Syrii”.