Budując założenie fabryczne Geyer skorzystał z pomocy rządu. Uzyskał w Banku Polskim preferencyjną pożyczkę w wysokości 400 000 złotych. Oprócz tego zaciągnął 175 769 złotych pożyczki kaucyjnej i 24 230 zł pożyczki z kasy miejskiej. Łącznie ze środkami własnymi pozwoliło to na uruchomienie w 1839 najnowocześniejszej fabryki na terenie Królestwa. Geyer zakupił maszyny u najlepszego wówczas producenta, braci Cockerill w Belgii. Otwarta przędzalnia miała 7584 wrzeciona i 180 warsztatów tkackich. Same budynki fabryki stanowią przykład architektury przemysłowej. Wzniesione zostały w stylu klasycystycznym i były wzorowane na budownictwie mieszkalnym.
Biała Fabryka, która pomimo zawirowań historycznych (głód bawełniany z 1862 roku, I wojna światowa, Wielki Kryzys lat 1929–1933) przetrwała do II wojny światowej jako spółka rodzinna „Zakłady Przemysłu Bawełnianego Ludwika Geyera”, znacjonalizowana w PRL funkcjonowała dalej jako Państwowe Zakłady „Eskimo”.
W 1959 roku budynek został przejęty przez Muzeum Historii Włókiennictwa, które od 1 stycznia 1960 roku uzyskało status samodzielnej placówki muzealnej. W 1975 roku nazwa instytucji została zmieniona na Centralne Muzeum Włókiennictwa.