Sakry udzielił mu .

W 1957 roku z woli papieża Piusa XII otrzymał zadanie administrowania radziecką częścią archidiecezji wileńskiej, której katedra formalnie wakowała od śmierci arcybiskupa Romualda Jałbrzykowskiego w 1955 roku. Jednocześnie stanął przed nim obowiązek zarządzania diecezją poniewieską po śmierci jej biskupa diecezjalnego Kazimierasa Paltarokasa.

W 1958 roku zamieszkał w Wilnie, skąd w miarę możliwości starał się wypełniać obowiązki biskupie dla dwóch administratur kościelnych. Z uwagi na nieustępliwość wobec polityki władzy radzieckiej na Litwie był prześladowany. W 1961 roku odebrano mu prawo mieszkania w Wilnie i wysiedlono na daleką prowincję litewską do miasteczka Żagory przy granicy z Łotewską Socjalistyczną Republiką Radziecką. Został tam rezydentem przy kościele parafialnym św. Piotra i Pawła. Nie mógł jednak mieszkać na plebanii, a w komunalnym lokalu przydzielonym przez sowieckie władze, który był pod ciągłą obserwacją i podsłuchem służb specjalnych.