Bazylika została zniszczona przez muzułmanów i Żydów w 966.
Odwiedzający Jerozolimę w XII wieku Beniamin z Tudeli stwierdza, że na Syjonie nie było wówczas już żadnego kościoła. W XIV wieku, a więc po wzniesieniu budowli przez krzyżowców wspominają o nim Marinus Sanuto i sir John Mandeville.
Okres wypraw krzyżowych Kiedy krzyżowcy przybyli do Jerozolimy w 1099 roku i znaleźli się na wzgórzu Syjon, zastali tam bizantyński kościół Hagia Sion (Święty Syjon), który był znacznie zniszczony, z lepiej zachowanym skrzydłem południowym. Odkryli tam grobowiec utożsamiany z grobem Dawida, ale także grób jego syna Salomona oraz grób świętego Szczepana. Oba ostatnie zostały dołączone do grobowca Dawida. Krzyżowcy naruszyli więc tradycję dotyczącą lokalizacji grobu Szczepana, ponieważ bizantyński kościół św. Szczepana zawierający relikwiarz męczennika istniał już na północ od Bramy Damasceńskiej. Bazylika została odbudowana przez krzyżowców w XII w.