Pisane przez niego później wiersze nie mogły już zostać wydane ze względu na wszechobecny stalinowski terror. Dużą część utworów napisanych pod koniec życia poety przechowała i uchroniła przed zapomnieniem jego żona. Początek światowej sławy Osipa rozpoczął się dopiero w latach 70. XX wieku, za sprawą wdowy, Nadieżdy Mandelsztam, opisującej w swojej książce Nadzieja w beznadziei los swego zmarłego męża. Ocalone wiersze złożyły się na Zeszyty woroneskie.
Współcześnie Osip Mandelsztam uznawany jest za jednego z najwybitniejszych poetów rosyjskich.
Represje W latach 1934–1937 Mandelsztam przebywał na zesłaniu, na osobisty rozkaz Józefa Stalina, początkowo w Czerdyniu, a później w Woroneżu. W maju 1938 roku Mandelsztam został ponownie aresztowany i skazany na pięć lat pobytu w obozie za działalność antyrewolucyjną. Nie było jednak szans, by przeżył wyrok. Był bowiem u skraju fizycznej wytrzymałości i trudność sprawiało mu samo utrzymanie się na nogach.
thumb|Fotografia wykonana przez NKWD po aresztowaniu w 1938 Zmarł w łagrze tranzytowym Wtoraja Rieczka (Вторая Речка) pod Władywostokiem w drodze na Kołymę. Jako oficjalną przyczynę śmierci podano zawał serca.