W 1931 aresztowany przez OGPU, trafił na rok do więzienia. Po wyjściu z więzienia Ostap Wysznia wziął go do siebie, do Charkowa. Reszta neoklasyków była aresztowana przez OGPU i NKWD, zesłana do łagrów i zginęła w egzekucjach w czasie „wielkiego terroru” (Mychajło Draj-Chmara, Pawło Fyłypowycz, Mykoła Zerow).

Po 1931 roku w jego twórczości dochodzi do zmiany – w zbiorze Znak tereziw (1932) ogłosił, że radziecka rzeczywistość jest właściwa, dzięki czemu był jedynym neoklasykiem, który uniknął stalinowskiego terroru i był zaliczany do grona radzieckich poetów. Jego twórczość podzieliła się na dwie części: oficjalną i liryczną. W lirycznej części udało mu się tworzyć niezależne od polityki wiersze. Tłumaczył również prace naukowe z językoznawstwa i literaturoznawstwa.

W latach 1944–1964 Rylski był dyrektorem Instytutu historii językoznawstwa, folkloru i etnografii Akademii Nauk USRR. W 1960 roku otrzymał Nagrodę Leninowską, dwukrotnie (w 1943 i 1950) Państwową Nagrodę ZSRR.