Tradycyjnie lokalizowana na wzgórzu nazywanym (od pierwszego wieku naszej ery) Syjonem. thumb|Lokalizacja Wieczernika na symulacji rzutu kościoła Świętego Syjonu
Okres bizantyński W IV wieku istniał w tym miejscu mały dom modlitw (domus ecclesiae), nazywany „małym domem Pana”. Pielgrzym z Bordeaux, który odwiedził Jerozolimę w 333 twierdził, że na Syjonie nie widział żadnego kościoła. W swoim opisie Itinerarium Burdigalense określał widziany na Syjonie budynek jako synagogę, jednak mimo iż jako Europejczyk mógł łatwo rozpoznać religijny charakter, to różnice kulturowe stylu architektonicznego kręgów judeochrześcijańskich mogły sprawić, że nie identyfikował budowli jako świątyni chrześcijańskiej. Warto także wspomnieć, że dekret Hadriana zabraniał „wszystkim osobom obrzezanym wjazdu i przebywania na terytorium Aelia Capitolina, a każda osoba, która by naruszała ten zakaz winna być skazana na śmierć”. Orygenes i Pielgrzym z Bordeaux potwierdzają, że zakaz ten obowiązywał także w III i w początku IV wieku. Teoretycznie nie powinna istnieć tam żadna działająca synagoga. Najbardziej prawdopodobnym wyjaśnieniem jest założenie, że owa budowla nie została wzniesiona jako kościół, ale jako dom modlitw wspólnoty judeochrześcijańskiej. Przed legalizacją chrześcijaństwa granica ta nie była zbyt jasna.