Pierwszych pochówków wojennych żołnierzy niemieckich, poległych podczas oblężenia Westerplatte, dokonano we wrześniu 1939.
thumb|left|Aleja Zasłużonych W 1940 zostało urządzone dojście i dojazd do cmentarza, ozdobione wzdłuż chodników wysokimi szpalerami grabów oraz zostało zbudowane centralnie położone rondo. W tym samym roku zostały zbudowane dwa parterowe, bliźniacze budynki z klinkierowej cegły, do obsługi cmentarza. W budynku po prawej zostały umieszczone sala przedpogrzebowa i kostnica. Do dalszej rozbudowy cmentarza wykorzystywano od drugiej połowy 1940 jeńców wojennych, głównie francuskich.
Do pochówków zmarłych, których dokonania życiowe znalazły uznanie ówczesnych władz, została utworzona „Aleja Zasłużonych” jako wyodrębniona kwatera.
W okresie PRL przy głównej alei cmentarnej przy krzyżu poświęconym ofiarom grudnia roku 1970 w okresie Wszystkich Świętych dochodziło do patriotycznych manifestacji religijnych.
Od 1945 do końca 2008 na cmentarzu pochowano łącznie około 60 000 osób. Do końca lat 70. cmentarz był główną nekropolią Gdańska (obecnie jest nią Cmentarz Łostowicki).
W październiku 2018 na cmentarzu, na końcu alei prowadzącej od głównej bramy, odsłonięto pomnik poświęcony gdańskim alpinistomGdańsk upamiętnił tragicznie zmarłych alpinistów.