Osip Mandelsztam jako poeta debiutował w 1910 roku, w piśmie "Apollon". Sławę zyskał trzy lata później zbiorem wierszy Kamień, a wydany w 1922 tom Tristia umocnił jego pozycję w środowisku poetów. Inspiracją wierszy z tego okresu była przede wszystkim kultura starożytna oraz mistyczny świat dawnej kultury rosyjskiej. Napisany przez niego w 1913 i wydany w 1919 roku manifest Świt akmeizmu określał ramy tej poezji.
W twórczości Mandelsztama pojawiały się również wątki judaistyczne, choć on sam nie był praktykującym żydem, a niekiedy do religii tej odnosił się nawet z niechęcią. Tom Wiersze (1928) był ostatnim wydanym za życia poety z tego nurtu.
Z początkiem lat 30. Mandelsztam zwrócił się ku prozie. W 1933 ukończył ostatnią książkę Podróż do Armenii, będącą poetyckim opisem autentycznej wyprawy na Kaukaz. Tytułowa podróż to proza poetycka, będąca owocem podróży, jaką Mandelsztam odbył wraz z żoną we wczesnych latach 30. Nie było to krajoznawstwo, lecz podróż – zgodnie z historiozofią poety – do źródeł czasu. Mandelsztam wierzył, że kultury Kaukazu i Czarmomorza są jak księgi, z których uczyli się pierwsi ludzie.
Pisane przez niego później wiersze nie mogły już zostać wydane ze względu na wszechobecny stalinowski terror. Dużą część utworów napisanych pod koniec życia poety przechowała i uchroniła przed zapomnieniem jego żona. Początek światowej sławy Osipa rozpoczął się dopiero w latach siedemdziesiątych XX w., za sprawą wdowy, Nadieżdy Mandelsztam, opisującej w swojej książce Nadzieja w beznadziei los swego zmarłego męża. Ocalone wiersze złożyły się na Woroneskie zeszyty. Obecnie Osipa Mandelsztama, obok Borysa Pasternaka i Anny Achmatowej, stawia się na piedestale największych poetów rosyjskich XX wieku.
