Można tam było spotkać: Adama Asnyka, Henryka Sienkiewicza, Stanisława Witkiewicza, Józefa Chełmońskiego, Juliana Fałata, Juliana Tuwima, Boya, Józefa Conrada, Ignacego Paderewskiego i wielu innych, znanych artystów malarzy, muzyków, pisarzy i aktorów.
W roku 1884 willę przejął od ojca syn Wojciech. Od tej pory w Kossakówce były już dwie pracownie dwóch wybitnych polskich malarzy. Troskę o gniazdo rodzinne przejęła po babci Juliuszowej nowa pani Kossakowa – Maria Wojciechowa. Tym samym Kossakówka stała się domem rodzinnym dla następnego pokolenia tej artystycznej rodziny, dzieci Wojciecha: Jerzego Kossaka, Marii Pawlikowskiej-Jasnorzewskiej i Magdaleny Samozwaniec.
W roku 1942 po śmierci Wojciecha dom przejął jego syn Jerzy. Po wyjeździe sióstr mieszkał tam razem z Marią, swoją córką z pierwszego małżeństwa, z drugą żoną Elżbietą Dzięciołowską-Śmiałowską i córkami z drugiego małżeństwa – Glorią i Simoną.
Po wojnie groziło Kossakówce wyburzenie, ale uchroniła ją postawa Elżbiety, żony Jerzego, która wywalczyła u Włodzimierza Sokorskiego (ówczesnego ministra kultury) uznanie Kossakówki za pamiątkę narodową. W 1960 roku dworek został wpisany do rejestru zabytków, został wyremontowany, jednak na tym zakończył się protektorat państwa. W latach 80.