Bardziej udane były dla Zielińskiego dwa kolejne sezony, w których zespół wojskowych prowadzony był przez Pawła Janasa. Pozostając przez cały czas filarem obrony zdobył dwa tytuły Mistrza Polski oraz dwukrotnie sięgnął po Puchar Polski. W rozgrywanym 27 marca 1994 meczu z Siarką Tarnobrzeg strzelił swą pierwszą bramkę w Legii. W sezonie 1995–1996 zdobył Wicemistrzostwo Polski i osiągnął ćwierćfinał Ligi Mistrzów. W kolejnym sezonie raz jeszcze wywalczył Wicemistrzostwo Polski i Puchar Polski.
W późniejszych latach warszawskiej drużynie, mimo mistrzowskich ambicji, nie udawało się zająć pierwszego miejsca w lidze. Kilkakrotnie zmieniali się trenerzy, a skład Legii był wiele razy przebudowywany. Mimo to Zieliński przez cały czas był podstawowym zawodnikiem drużyny, obdarzanym zaufaniem przez szkoleniowców. Cieszył się także dużym szacunkiem kolegów z drużyny i kibiców. Wielokrotnie zakładał opaskę kapitańską. Kolejny tytuł Mistrza Polski zdobył dopiero w sezonie 2001–2002, w którym z powodu kontuzji rozegrał zaledwie 12 meczów. Przez cały okres gry w Legii konsekwentnie odrzucał także oferty transferów do klubów zagranicznych. W latach 2003–2004 był jeszcze podstawowym graczem obrony, ale problemy zdrowotne zmusiły go do ograniczenia występów.