W maju 66 r. rzymski prokurator Cezarei (Judei) Gesjusz Florus bezlitośnie złupił całą prowincję. W odpowiedzi wybuchło żydowskie powstanie przeciwko Rzymianom. XII legion rzymski dowodzony przez Wespazjana, a następnie jego syna Tytusa przystąpił do jego tłumienia, czego najważniejszym momentem było oblężenie Jerozolimy w 70 roku. Miasto padło 11 września 70 roku Tacyt podaje, że w walkach zginęło 600 tys. ludzi. Całe miasto zostało zamienione w ruinę. Zniszczeniu uległa Świątynia Jerozolimska (tzw. Druga Świątynia). Wszyscy Żydzi zostali wygnani z terenu miasta.
W 132 roku rzymski cesarz Hadrian postanowił odbudować Jerozolimę jako miasto hellenistyczne ze świątynią Jowisza i nazwą Colonia Aelia Capitolina. Wywołało to wybuch kolejnego powstania żydowskiego pod wodzą Bar-Kochby (lata 132–135). Żydzi odzyskali przejściowo Jerozolimę, jednak w 135 r. ich opór został złamany. Jerozolima została doszczętnie zniszczona, a na jej miejscu założono rzymskie miasto o nazwie Aelia Capitolina. Plac, na którym stała świątynia oraz jej otoczenie, został zaorany. Rzymianie zmienili nazwę kraju z Judei na Syria Palestina (Syria palestyńska, czyli filistyńska). Zakazano Żydom wstępu do miasta.
W 327 r. n.e. chrześcijanie odnaleźli grób Jezusa, co uczyniło Jerozolimę celem pielgrzymek.