Współpracował z Kazimierzem Górskim w sztabie szkoleniowym przygotowującym start Polaków na mistrzostwach świata w 1974 oraz w eliminacjach mistrzostw Europy w 1975. Pomagał także następnym szkoleniowcom kadry – Jackowi Gmochowi i Antoniemu Piechniczkowi w przygotowaniach do kolejnych mundiali. Sam kandydował na stanowisko trenera selekcjonera Polski w 1989, ale przegrał z Andrzejem Strejlauem. Tygodnik Piłka Nożna przyznał mu trzy razy tytuł Trenera Roku.
W maju 2005 został powołany przez prezesa Polskiego Związku Piłki Nożnej Michała Listkiewicza w skład specjalnej komisji etyki, która miała zajmować się przypadkami korupcji wśród sędziów piłkarskich, jednak zrezygnował z udziału w jej pracach.
Mecze międzynarodowe Bronił w reprezentacji w latach 1962–1972, zaliczając 32 oficjalne występy, choć sam Kostka twierdzi, że 34. W trzech z nich pełnił obowiązki kapitana polskiego zespołu. Największy sukces w karierze reprezentacyjnej odniósł u jej schyłku, sięgając z zespołem Kazimierza Górskiego po złoto olimpijskie w Monachium w 1972.