W 362 r. cesarz rzymski Julian zezwolił żydom na osiedlanie się w mieście Aelia Capitolina (Jerozolima).
Po podziale cesarstwa rzymskiego (395 r.) miasto znalazło się w Bizancjum.
W 613 r. Żydzi poparli Persów atakujących Palestynę. W 614 r. Persowie zdobyli Jerozolimę, którą doszczętnie złupili. W nagrodę za udzieloną pomoc, Żydzi mogli w latach 614–617 sprawować władzę w mieście. W 629 r. wojsko bizantyńskie cesarza Herakliusza odbiła Jerozolimę. Równocześnie Żydzi zostali wypędzeni z miasta.
W latach 636–640 Palestyna została podbita przez będących od niedawna muzułmanami Arabów. W 637 została zdobyta Jerozolima. Z miasta wypędzono żydów. Cała Palestyna weszła w skład arabskiego kalifatu Ummajjadów. Dynastia Umajjadów, sprawująca z Damaszku władzę nad Palestyną, z powodów politycznych chciała posłużyć się Jerozolimą, aby pomniejszyć znaczenie Arabii. Kalif Omar ogłosił Jerozolimę trzecim co do ważności (po Mekce i Medynie) świętym miastem muzułmanów. W latach 688–691 zbudowali na pozostałościach żydowskiej świątyni pierwszą muzułmańską budowlę, Kopułę na Skale (Kubbat as-Sachra). Zmienili nawet w wyrafinowany i zawiły sposób tradycyjną interpretację Koranu, aby zrobić w nim miejsce dla Jerozolimy.