Po dojściu Adolfa Hitlera do władzy w Niemczech, zaostrzyła się postawa bydgoskich Niemców, którzy nie dopuszczali już działalności polskich organizacji w budynku. Kasyno służyło odtąd wyłącznie Niemcom i organizacji nazistowskiej. Ostentacyjnie antypolska działalność mniejszości niemieckiej spowodowała, że władze miejskie 15 czerwca 1939 r. zamknęły Kasyno Cywilne i przemianowały go na polski „Dom Społeczny”, co spotkało się z gwałtownymi protestami bydgoskich Niemców i ich protektorów w Rzeszy.

Pomorski Dom Sztuki W 1945 dzięki staraniom Mariana Turwida – prezesa Okręgu Pomorskiego Polskiego Związku Artystów Plastyków, budynek przydzielono artystom. Nad odbudową i adaptacją obiektu czuwała Komisja Odbudowy pod przewodnictwem prof. Jerzego Remera. 7 maja 1946 r. podczas obchodów 600-lecia miasta Bydgoszczy otwarto „Pomorski Dom Sztuki”, a w jego wnętrzach urządzono salę koncertową, odczytową, stały salon wystawowy plastyki BWA, lokale klubowe związków artystycznych oraz Społeczne Ognisko Plastyczne. Budynek był siedzibą pomorskich związków twórczych, pomyślany jako warsztat pracy literatów, plastyków, muzyków oraz środowiska artystycznegoPrus Zdzisław, Weber Alicja: Bydgoski leksykon operowy. Kujawsko-Pomorskie Towarzystwo Kulturalne. Bydgoszcz 2002.