Aresztowany 13 maja 1933 roku przez OGPU pod zarzutem przynależności do Ukraińskiej Organizacji Wojskowej (УВО) (mistyfikacja OGPU) i skazany na dziesięć lat łagru. Karę w latach 1933–1935 odbywał w SŁON na Sołowkach, następnie resztę kary zamieniono na zesłanie do Krasnojarska. W latach 1937–1939 ponownie aresztowany przez NKWD, w śledztwie, ostatecznie zwolniony. Po zakończeniu wyroku w 1943 roku, pozostał w Krasnojarsku, domagając się rehabilitacji przez Sąd Najwyższy ZSRR. 18 września 1946 roku został jednak zamordowany przez MGB na osobiste polecenie Stalina i Kaganowicza. Zabójstwa dokonała zastrzykiem trucizny grupa specjalna pod dowództwem Pawła Sudopłatowa, w wagonie sypialnym pociągu w drodze z Saratowa do Kijowa23 серпня 1946 року глава держбезпеки СРСР Віктор Абакумов у записці на ім’я Сталіна попросив згоди на ліквідацію Шумського (на цій ліквідації найбільше наполягали Георгій Маленков і Лазар Каганович). На записці, що зберігається донині лише у Москві, примітка: «Доложено т. Сталину лично. Наше предложение утверждено». Павло Судоплатов розробив план ліквідації Шумського (називалось це «план операции «Хорек»), який Абакумов затвердив 6 вересня 1946 року. Тим часом Шумському нарешті милостиво дозволили повернутися в Україну, про що він мріяв упродовж усіх років неволі. Це була остання його подорож.