Będąc również spadkobiercą spuścizny rękopiśmienniczej Elsnera (dysponował również kilkoma listami Fryderyka Chopina), reprezentował rodzinę Elsnera w przedsięwzięciach mających na celu upamiętnienie muzyka i jego dzieła.
Po śmierci Elsnera powstał w Warszawie komitet, który postawił sobie za cel zebranie funduszy na postawienie pomnika muzyka oraz wydanie jego dzieł. W skład komitetu weszli: Ignacy Feliks Dobrzyński, Kazimierz Lubomirski, Karol Kucz (redaktor Kurjera Warszawskiego) i Wincenty Kostecki. Komitet zorganizował 3 koncerty muzyki Elsnera (28 sierpnia, 30 sierpnia i 1 września 1854 roku w Kościele Ewangelickim w Warszawie). Zebrane fundusze zostały (po odtrąceniu kosztów) wydane na budowę pomnika na Cmentarzu Powązkowskim w Warszawie (autorem był Władysław Gumiński, uczeń Konstantego Hegla) oraz na wydanie najważniejszych dzieł Elsnera.
Wincenty Kostecki w 1861 roku był członkiem oddziału warszawskiego Towarzystwa Rolniczego.
Listy Wincentego Kosteckiego pisane przez niego w latach 1854–1864 zostały odnalezione w latach 60. XX wieku i wydane w 1996 roku przez wydawnictwo VEDA stworzone przez Barbarę Mączeńską i Krystynę Drzewiecką (autorką wstępu jest prof.