16 maja 1935 Związek Przemysłu Włókienniczego w Państwie Polskim, cztery dni po śmierci Józefa Piłsudskiego, postanowiło uczcić jego pamięć budową w Łodzi gmachu-pomnika, z przeznaczeniem na Bibliotekę. Pod koniec 1936 ogłoszono konkurs na projekt nowego gmachu. 1 lipca 1937 konkurs rozstrzygnięto. Do realizacji przyjęto pracę inż. arch. Jerzego Wierzbickiego. Na teren pod budowę wybrano działkę leżącą na rogu ulic Gdańskiej i Mikołaja Kopernika. Uroczystość wmurowania kamienia węgielnego pod gmach Biblioteki Miejskiej im. Marszałka Józefa Piłsudskiego odbyła się 14 maja 1938 (projekt wykonał inż. arch. J Wierzbicki). Zbiory Biblioteki liczyły wtedy niemal 70 tys. woluminów.
Budowę biblioteki przerwał wybuch II wojny światowej. Podczas okupacji nieukończony obiekt służył jako przestrzeń magazynowa. Niemieckie władze zakładały dokończenie budynku według zmienionego projektu z elewacjami w stylu architektury nazistowskiej, który ostatecznie nie został zrealizowany.