Wcześniej, bo w 1897 roku inicjatorzy budowy zakupili od władz miejskich, z własnych funduszy za sumę 6 tys. marek, plac przy ówczesnej August-Schneiderstraße (późniejszej ulicy Adama Mickiewicza). Działka o powierzchni 4400 m² była na tyle duża, że postanowiono na niej wybudować mykwę, szechitę oraz piekarnię macy. Etapem rozpoczynającym budowę synagogi w 1896 roku było położenie kamienia węgielnego przez ówczesnego rabina katowickiego Salomona Wienera. Projekt synagogi wykonali katowiccy architekci Max i Hugo Grünfeld, synowie Ignatza Grünfelda – architekta i budowniczego starej synagogi. Prace budowlane zakończono w 1900 roku, które kosztowały ponad 500 tys. marek.
Uroczyste otwarcie synagogi nastąpiło w święto Rosz ha-Szana, w środę 12 września 1900 roku. W 1901 roku w synagodze odbył się Światowy Kongres Syjonistyczny.
Przed I wojną światową, pomiędzy skrzyżowaniem Meisterstraße (obecnie ulica F. Chopina), August-Schneiderstraße (obecnie ulica A. Mickiewicza) i Teichstraße (obecnie ulica Stawowa), a Kurfürstenstraße (obecnie ulica ks. P.