W latach 1921–1926 był członkiem Biura Politycznego KC partii bolszewickiej. Od 1923 roku wraz z Kamieniewem nawiązał bliską współpracę z Józefem Stalinem, jednak kiedy zdystansował się od niego, został oskarżony o frakcyjność i opozycyjność („Nowa opozycja”), co spowodowało przyłączenie się Zinowjewa do Lwa Trockiego. W 1926 roku został pozbawiony stanowisk. W latach 1927–1928 oraz 1932–1933 wydalony z partii. Prowadził podwójną grę ze Stalinem, o której ten doskonale wiedział, zręcznie wykorzystując go do swych celów. Po zabójstwie Siergieja Kirowa, w styczniu 1935 aresztowany przez NKWD, przyjął „odpowiedzialność polityczną” za zamach i został skazany na 10 lat więzieniaConquest, s. 59..

Zatrzymany przez NKWD pod zarzutem kierowania kontrrewolucyjną organizacją terrorystyczną, w dniach 19–24 sierpnia 1936 sądzony w pokazowym pierwszym procesie moskiewskim przed Kolegium Wojskowym Sądu Najwyższego ZSRR, który w intencji organizatorów miał być zapalnikiem wielkiego terroru w ZSRR, został skazany na śmierć. Po odrzuceniu przez Prezydium Komitetu Centralnego wykonawczego prośby skazanych o ułaskawienie został stracony 25 sierpnia 1936.