Celinogradu, skąd zbiegł 8 lutego 1967 r., by nadal, jako duszpasterz pracować w Kazachstanie.
Chory na gruźlicę i nękany postępującą głuchotą, coraz dotkliwiej przeszkadzającą mu w wypełnianiu duszpasterskich obowiązków, poddał się leczeniu szpitalnemu w Polsce, gdzie przebywał od 19 sierpnia 1968 do 13 czerwca 1970 r.
thumb|240px|Grób o. Serafina Kaszuby w Winnicy
Leczenie szpitalne, dolegliwości pooperacyjne, wreszcie przerywany krwotokami okres rekonwalescencji w Polsce nie powstrzymały go przed powrotem do wiernych, wśród których pracował na rozległych terenach Związku Radzieckiego.
19 września 1977 wracał z Równego do Lwowa i z powodu awarii autobusu, mimo dotkliwego zimna i deszczu, musiał przebyć kilkukilometrową podróż pieszo. Próbował zatrzymać się i odpocząć w domu znajomych, ale został ostrzeżony, że dopiero co milicja – poszukując go – dokonała tam właśnie rewizji. Zanim znaleziono mu miejsce u innych ludzi, czekał moknąc na ulicy. Tejże nocy zmarł (20 września 1977). Pochowany został na cmentarzu Janowskim nieopodal grobu świętego ks. arcybiskupa Józefa Bilczewskiego. Ekshumacja jego relikwii miała miejsce 16 listopada 2010 r. a następnego dnia umieszczenie ich w kościele kapucynów w Winnicy.