Ze względu na stan techniczny zespołu trzech synagog przy ulicy Żydowskiej, mimo przeprowadzanych remontów, gmina w latach 80. XIX wieku zaczęła rozważać budowę nowej ortodoksyjnej synagogi. Wzięto wtedy pod uwagę parcelę pomiędzy ulicą Stawną a Małymi Garbarami, zajętą wówczas przez Szpital dla Ubogich im. Salomona Beniamina Latza i szkołę miejską. W wyniku umowy z 1904 roku dokonano zamiany parceli, tak że fundacja szpitala otrzymała parcele zajmowane przez zespół synagog, a gmina zobowiązała się do ich rozbiórki w miesiąc po poświęceniu nowej. 5 września 1907 poświęcono nową synagogę, trzy synagogi zaczęto sukcesywnie rozbierać od kwietnia 1908 roku, a rok później, 15 grudnia 1909, przy ulicy Żydowskiej 15/18 otwarto Schronisko dla Starców i Zniedołężniałych im. Salomona Beniamina Latza.
W czasie prac archeologicznych, przeprowadzonych we wrześniu 2005 roku, natrafiono na fundamenty dawnej Synagogi Nehemiasza, fragmenty podłogi i stary Aron ha-kodesz.