Muzeum Historii Ruchu Robotniczego m. Żyrardowa Przepustką do utworzenia muzeum okazały się tendencje polityczne i względy ideologiczne; pomimo swej nazwy muzeum od samego początku nie ograniczało zakresu swej działalności do gromadzenia, opracowywania, konserwowania i udostępniania materiałów dotyczących historii ruchu robotniczego i działalności partii komunistycznej oraz partii socjalistycznych w Żyrardowie, jakkolwiek historia ruchów robotniczych stała się zasadniczym kierunkiem działalności muzeum, zwłaszcza w zakresie działalności wystawienniczej. Siedzibą muzeum stał się pałacyk reprezentacyjny Karola Dittricha jr, mieszczący się na skraju niegdyś prywatnego parku Dittricha. Willę wznoszono od 1896, pod koniec roku osiągnięto stan surowy, prace wykończeniowe trwały jeszcze w 1897 r.; gmach wzniesiony w tzw. kostiumie francuskim, zwany przez mieszkańców miasta Dytrykowskim pałacem nie był przystosowany do pełnienia funkcji muzealnych, brak powierzchni, zwłaszcza wystawienniczej jest zresztą odczuwany do dziś. Wkrótce po otwarciu muzeum dokonano niewielkich przeróbek budynku na zewnątrz (umieszczono herb miasta przy dwubiegowych schodach tarasu, zlikwidowano drewniany ganek na tarasie) oraz znacznie większych we wnętrzach.