Do dziś widoczne są na cmentarzu ślady okresu rządów nazistów i II wojny światowej. W trakcie pogromu ludności żydowskiej (Noc kryształowa) 9 listopada 1938 zostały wysadzone sale ceremonii oraz zniszczone liczne groby na starym i nowym cmentarzu żydowskim. W okresie 1938–1945 chowano na nim członków ruchu oporu i dezerterów z Wehrmachtu którzy decyzją Sądu Okręgowego w Wiedniu byli rozstrzeliwani i chowani w masowych grobach szybowych na zamkniętej dla ludności części cmentarza. Krewni ofiar nie byli poinformowani o miejscu ani czasie pochówku. Obecnie sektor 40 gdzie znajdują się te groby decyzją władz Wiednia stanowi pomnik historii.
Podczas bitwy pod Wiedniem w kwietniu 1945 cmentarz został poważnie uszkodzony podczas bombardowań miasta (w pobliżu znajdowała się np. rafineria ropy naftowej w Schwechat), a także w trakcie walk między Armią Czerwoną a jednostkami niemieckimi. Po zakończeniu wojny na terenie cmentarza było około 550 kraterów bombowych i ponad 12 000 zniszczonych grobów. Zniszczona została również kopuła kościoła Karola Boremeusza, której odbudowa trwała do końca lat 50. XX wieku.