współtworzył pierwszą organizację skupiającą ludzi zainteresowanych jaskiniami tatrzańskimi – Koło Grotołazów.

thumb|Otwór wyjściowy Jaskini Mylnej, przekopany do odkrytych m.in. przez Stefana Zwolińskiego partii jaskini thumb|Raptawicka Turnia, w której Stefan Zwoliński dokonał kilku odkryć W latach 1924–1950 prowadził wspólnie z bratem księgarnię ojca (Leonarda), a przez kilka lat również jej zakopiańską filię. W tym okresie zajmował się fotografią, wiele z jego zdjęć było publikowanych przez księgarnię Zwolińskich w formie pocztówek. Stefan uczestniczył również w wystawach i konkursach, zdobył wiele wyróżnień i nagród. Polem jego zainteresowań była również Ameryka Północna, a także Słowacja, Bułgaria, Jugosławia oraz Kaukaz.

Od roku 1929 ponownie zaczął zajmować się badaniami jaskiniowymi. Część z nich była w pewnym stopniu finansowana przez Polskie Towarzystwo Tatrzańskie. W tym okresie odkrył nowe partie m.in. w Zimnej, Miętusiej, Kasprowej Niżniej, a także eksplorował Jaskinię Bystrej.