Jego księgozbiór przypadł jego synowi, Klausowi Valentinowi. Nie przebywał on wówczas w Niemczech, co wykorzystali naziści, uznając go za politycznego zbiega. Był zmuszony przekazać państwu całą bibliotekę nieodpłatnie. Już w grudniu 1935 książnica nie znajdowała się w Prudniku. Została wywieziona do publicznych bibliotek we Wrocławiu i Raciborzu. Ernst Fränkel zajmował pomieszczenie na parterze willi do marca 1939, kiedy opuścił Prudnik. W 1941 jako właściciel budynku nadal figurował Klaus Valentin Pinkus, choć wciąż przebywał poza obszarem Niemiec.

Po II wojnie światowej i przejęciu Prudnika przez administrację polską, willa, nazywana „pałacykiem”, była wykorzystywana jako zakładowe przedszkole dla dzieci pracowników Zakładów Przemysłu Bawełnianego „Frotex”. Obiekt był remontowany. W dokumentacji konserwatora zabytków nadmieniono, że „adaptacja na przedszkole w niewielkim stopniu zmieniła układ wnętrz (wprowadzenie sanitariatów)”.