Stanisława Staszica w Bielsku-Białej. W 1957 został pierwszym komendantem ZHP Hufiec Beskidzki w Bielsku-Białej. 20 września 1957 otrzymał stopień harcmistrza. Przeszedł na emeryturę w 1978.
W latach 50. współtworzył Międzyszkolny Klub Sportowy „Zryw”. Był to pierwszy klub narciarski w Szkolnym Związku Sportowym, a Józef Drożdż był jego prezesem do 1992. Był też członkiem władz Polskiego Związku Narciarskiego oraz Śląskiego Okręgowego Związku Narciarskiego w Katowicach. Przeszedł wszystkie szczeble kariery sędziego narciarskiego. Od 1976 był sędzią międzynarodowym.
Był prezesem bielskiego oddziału koła Polskiego Związku Byłych Więźniów Politycznych Hitlerowskich Więzień i Obozów Koncentracyjnych.
W 1998 w uznaniu swych licznych zasług dla Województwa Bielskiego otrzymał tytuł „Osobowość Podbeskidzia”. W 2003 został wpisany przez władze samorządowe do Księgi Zasłużonych dla Bielska-Białej.
Wydał publikację książkową pt. „Jak przeżyć życie godnie, z honorem i miłością”.
Dwukrotnie żonaty. W 1953 ożenił się z Zofią z domu Sędra (1924–1977), harcerką, nauczycielką wychowania fizycznego. W 1954 urodziła się im jedyna córka Wanda. Od 9 sierpnia 1979 drugą żoną była Maria Kalinowska z domu Bernaś (1931–2000), była harcerka oraz wieloletnia działaczka i główna księgowa PTTK w Bielsku-Białej.