Twórczość Jako poeta debiutował w 1910 roku, w piśmie „Apollon”. Sławę zyskał trzy lata później zbiorem wierszy Kamień, a wydany w 1922 tom Tristia umocnił jego pozycję w środowisku poetów. Inspiracją wierszy z tego okresu była przede wszystkim kultura antyku oraz mistyczny świat dawnej kultury rosyjskiej. Napisany przez niego w 1913 i wydany w 1919 roku manifest Świt akmeizmu określał ramy tej poezji.
W twórczości Mandelsztama pojawiały się również wątki judaistyczne, choć on sam nie był praktykującym żydem, a niekiedy do religii tej odnosił się nawet z niechęcią. Tom Wiersze (1928) był ostatnim wydanym za życia poety z tego nurtu.
Z początkiem lat 30. Mandelsztam zwrócił się ku prozie. W 1933 ukończył ostatnią książkę Podróż do Armenii, będącą poetyckim opisem autentycznej wyprawy na Kaukaz, jaką Mandelsztam odbył wraz z żoną we wczesnych latach 30. Nie było to krajoznawstwo, lecz podróż – zgodnie z historiozofią poety – do źródeł czasu. Mandelsztam wierzył, że kultury Kaukazu i Czarnomorza są jak księgi, z których uczyli się pierwsi ludzie.