Początkowo niechętnie nastawiony do polityki ukrainizacji – w 1922 roku wszedł jednak w konflikt z komisarzem narodowości Stalinem, krytykując mieszanie się RFSRR w wewnętrzne sprawy republiki. W trakcie powoływania ZSRR domagał się zachowania uprawnień republik w dziedzinie polityki zagranicznej i handlowej. Na XII zjeździe RKP(b) w 1923 roku skrytykował Stalina za uleganie rosyjskiemu nacjonalizmowi i promowanie centralizacji, za co w połowie 1923 roku usunięto go z urzędu premiera Ukrainy i skierowano na placówkę ambasadorską do Austrii, a później do Francji, z której wydalono go w 1927 roku za ingerowanie w wewnętrzne sprawy kraju.
Związany z frakcją WKP(b) skupioną wokół Lwa Trockiego został, równolegle z Trockim, po XV Zjeździe WKP(b) (XII 1927), wobec odmowy złożenia samokrytyki, oczekiwanej przez frakcję Stalina, usunięty z partii komunistycznej i zesłany do Astrachania. Wrócił do Moskwy w 1934 roku po napisaniu listu z samokrytyką do Stalina, stanął na czele delegacji Czerwonego Krzyża ZSRR w Japonii.