Prowadził działalność filantropijną, współfinansował pierwsze pogotowie ratunkowe w Wilnie. W 1892 roku ufundował witraż ku czci Matki Boskiej Ostrobramskiej w prezbiterium kościoła Mariackiego w Krakowie. Wspomagał materialnie polskich artystów jako mecenas sztuki, wypłacał regularną pensję Aleksandrowi Gierymskiemu i posiadał kilkadziesiąt jego obrazów. W latach 1899–1908 był mecenasem malarza Wincentego Wodzinowskiego, zakupił dla niego dworek wraz z pracownią w podkrakowskich Swoszowicach. Planował przekazać kolekcję na własność społeczeństwu polskiemu i zamierzał sfinansować budowę odpowiedniej galerii, jednak pertraktacje z władzami miejskimi Krakowa i Lwowa zakończyły się fiaskiem.
Był ekscentrykiem i bohaterem głośnych skandali, o których pisała polska i europejska prasa. Przez dwa lata utrzymywał relacje z 26-letnią Cecylią Włodzimirską, modelką Wincentego WodzinowskiegoHandel ludzką czcią. „Nowości Ilustrowane”, Rok I, nr 11, 10 grudnia 1904, s. 8–9. [dostęp 2026-05-06].Zajście hr. Milewskiego we Wiedniu (wywiad u h. Milewskiego). „Kurjer Warszawski”, Rok 84, nr 182, 3 lipca 1904, s. 4–5. [dostęp 2026-05-05]., i z powodu ogromnej różnicy wieku, chcąc uniknąć kłopotliwych pytań, przedstawiał ją jako swoją córkę.