1 marca (lub 22 lutego) 1810 roku we wsi urodził się Fryderyk jako drugie dziecko Chopinów. Jego pobyt w Żelazowej Woli nie trwał długo, bowiem już na jesieni Chopinowie przenieśli się do Warszawy, ale młody Fryderyk odwiedzał później Skarbków w wakacje i przy okazji świąt rodzinnych. W 1812 dwór Skarbków spłonął, ale obydwie oficyny ocalały.
Podczas wizyt kompozytora w majątku Skarbków fortepian wynoszono do ogrodu, gdzie pod lipami Fryderyk dawał koncerty. Zgromadzeni goście i rodzina nie byli jedynymi słuchaczami – dźwięki fortepianu przyciągały mieszkańców pobliskich wsi (jak wspominał Antoni Krysiak, chłop z Żelazowej Woli i rówieśnik Fryderyka Chopina). Latem 1830 Fryderyk Chopin przyjechał do Żelazowej Woli, gdzie cała rodzina Chopinów przebywała na letnim wypoczynku. Wówczas kompozytor był tu po raz ostatni.