Wniósł ogromny wysiłek w działalność Caritasu, gdzie poprzez reorganizacje sekretariatu w grudniu 1920 zapoczątkował nowe kierunki działalności organizacji. Zawadzki był założycielem i przewodniczącym Związku Młodzieży Katolickiej. W 1920 został mianowany dziekanem chełmińskiego dziekanatu w Gdańsku, za jego niepodważalny autorytet wśród gdańskiego kleru. Od 1 września 1919 działał w sprawie oddzielenia terenu utworzonego w 1920 Wolnego Miasta Gdańska od diecezji chełmińskiej, co przyczyniło się do utworzenia Administratury Apostolskiej przez Watykan. Zawadzki miał z polecenia Ministerstwa Spraw Zagranicznych zostać kandydatem na ten urząd. Papież obsadził jednak urząd osobą byłego biskupa Rygi, Edwardem hrabia O’Rourke, który włączył Zawadzkiego do grona zaufanych współpracowników, obsadzając go w 1926 na urzędzie generalnego wikariusza nowo utworzonego Biskupstwa Gdańskiego. Za jego zasługi dla kościoła i diecezji otrzymał 20 maja 1924 tytuł tajnego papieskiego szambelana, a 18 sierpnia 1926 prałata dworu papieskiego.