Około 19 p.n.e. król Herod Wielki rozbudował i upiększył Świątynię. Rozbudował on Świątynię, wzmacniając dziedziniec kamiennymi bryłami o masie dochodzącej do 100 ton. Od tego czasu była ona nazywana Świątynią Heroda. Podczas pierwszej wojny żydowskiej Rzymianie zdobyli w 70 roku Jerozolimę i zburzyli Świątynię. W 132 rzymski cesarz Hadrian odbudował Jerozolimę jako miasto hellenistyczne Colonia Aelia Capitolina. Na Wzgórzu Świątynnym umieszczono wówczas świątynię Jowisza.
Po podziale Cesarstwa rzymskiego (395 r.) miasto znalazło się w Bizancjum. Uważa się dość powszechnie, że chrześcijanie w okresie rzymsko-bizantyńskim nie bardzo interesowali się Wzgórzem Świątynnym.
W VII wieku Jerozolima i Wzgórze Świątynne przeszły w ręce muzułmanów. Na wzgórzu stanęły wówczas Meczet Al-Aksa (który został raczej rozbudowany z chrześcijańskiej bazyliki) i Kopuła na Skale.
. Jest ono po Mekce i Medynie trzecim pod względem ważności miejscem świętym islamu. Ma głębokie religijne i polityczne znaczenie dla Palestyńczyków i muzułmanów na całym świecie. Dla Palestyńczyków ich przyszła stolica we wschodniej Jerozolimie stanowi fundamentalną część ich przyszłego państwa.