W dniach 21–25 marca 1923 sądzono go w Moskwie na procesie pokazowym. Wraz z 14 innymi duchownymi został skazany na karę śmierci za „podżeganie do buntu poprzez zabobony”x. Józef Kłos, Grymas szatana, Wiadomości dla Duchowieństwa, Poznań, kwiecień 1923. Pod naciskiem światowej opinii publicznej i po ostrzeżeniu ze strony rządu polskiego wyrok zamieniono na 10 lat więzienia. W 1924 wydalono go z ZSRR i przez Rygę udał się 12 kwietnia 1924 do Polski.
W kwietniu 1924 został odznaczony w Warszawie odznaką wojskową za wybitne zasługi czcigodnego pasterza w Rosji w okresie 1917–1919. Następnie wyjechał do Rzymu, gdzie zamieszkał w Kolegium Polskim i przebywał do drugiej połowy 1925. W 1925 z więzienia sokolnickiego w Moskwie zostało zwolnionych ośmiu księży współoskarżonych w procesie bp. Cieplaka.
7 listopada 1925 został odznaczony Wielką Wstęgą Orderu Odrodzenia PolskiM.P. z 1925 r. nr 262, poz. 1080 „za wybitną działalność dla dobra Narodu i Państwa”.. 14 grudnia 1925 biskup Cieplak został wyznaczony na arcybiskupa Wilna, zmarł jednak przed objęciem stanowiska. 16 marca 1926 pochowany został w katedrze wileńskiej.