W latach 50. XX wieku władze PRL postanowiły przejąć bardzo zaniedbany i zniszczony zespół podworski na cele kulturalne. Remont i adaptację dworu z przeznaczeniem na siedzibę Dzielnicowego Domu Kultury rozpoczęto w roku 1973. Na stanowisko pierwszego dyrektora Domu Kultury powołano Annę Chrobak-Kaputową. Kilkunastoosobowy zespół pracowników wprowadził się do Dworku w 1975 roku. Wanda Wolińska, pracownik Dworku, zanotowała wówczas w Kronice: Sprowadziliśmy się do dworku przy ulicy Papierniczej dokładnie 30 kwietnia 1975 roku (...). Budynek główny, zasłonięty jeszcze rusztowaniami, w dalszym ciągu przechodził proces rewaloryzacji, lecz mimo to wydał nam się obiektem wspaniałym, a samo miejsce posiadało pewną dozę tajemniczości, w którą spowija stare budowle legenda i wyobraźnia ludzka. W styczniu 1975 roku pracę w Dworku podjął Andrzej Radniecki. Zastanawiał się on wówczas czy podupadającemu Dworkowi i jego parkowemu otoczeniu uda się przywrócić dawną świetność.