W 1922 r. otrzymał godność szambelana papieskiego od papieża Piusa XI, a w 1925 r. został mianowany kanonikiem gremialnym Kapituły Katedralnej Lubelskiej.
Od 1933 r., z nominacji biskupa Fulmana kierował najpierw jako wicedyrektor, a następnie dyrektor Gimnazjum biskupim, a od 1935 r. został rektorem kościoła Matki Bożej Zwycięskiej.
Jego działalność społeczna i pedagogiczna przyniosła społeczności lokalnej powstanie drużyny harcerskiej i orkiestry. Wspierał Towarzystwo Przyjaciół Uczącej się Młodzieży i niosąc pomoc ubogim uczniom ufundował stypendium dla maturzystów. W 1918 r. gościł wizytatora apostolskiego Achillesa Rattiego, późniejszego papieża Piusa XI. Dzięki staraniom ks. Gostyńskiego szkoła Zamoyskiego uzyskała status gimnazjum państwowego.
Okupacja i niewola Po wybuchu II wojny światowej prowadził działalność patriotyczną między innymi odprawiając mszę św. za Ojczyznę z okazji Święta Niepodległości. 11 stycznia 1940 r. został aresztowany i uwięziony w ciężkim więzieniu na Zamku Lubelskim.
Śmierć
Po półrocznym pobycie w więzieniu przewieziono ks. Kazimierza do niemieckiego obozu koncentracyjnego Sachsenhausen, a następnie do Dachau. Poddany torturom i zmuszany do nadludzkiego wysiłku fizycznego, jako niezdolny do pracy został przez Niemców zamordowany w komorze gazowej w tzw.