Obecny budynek sanktuarium został zbudowany jako kaplica w 1340 r., zwana potocznie „Kaplicą Klapków” (Slipper Chapel). Ta dziwna nazwa pochodzi od dawnej funkcji tej kaplicy. Została ona zbudowana w Houghton St Giles, około 1 mili od Walsingham. W tym miejscu dawni pielgrzymi zdejmowali buty, aby ostatnią „świętą milę” do sanktuarium przejść bosymi stopami.

Erazm z Rotterdamu odwiedził Walsingham w 1513 r. i był pod wrażeniem przepychu i niesłychanego bogactwa Sanktuarium, które było wówczas najważniejszym ośrodkiem kultu maryjnego w Anglii. W 1538 r. król Henryk VIII, na skutek zerwania z katolicyzmem, nakazał zamknięcie opactwa w Walsingham, Święty Dom został spalony, a figura Maryi zabrana do Londynu i tam zniszczona. Resztki zabudowań opactwa były następnie wykorzystywane do celów świeckich.

W 1896 r. panna Charlotte Boyd kupiła „Kaplicę Klapków” i zaczęła jej odbudowę. Figura Maryi z Dzieciątkiem została odtworzona w Oberammergau na podstawie zachowanej pieczęci opactwa.