W przededniu II wojny światowej liczba więźniów obozu wynosiła około 5400, do tego momentu zginęło w nim około tysiąca osób. Począwszy od września 1939 w obozie znajdowali się również Polacy, którzy wraz z Żydami byli umieszczani do połowy 1940 roku w tzw. „obozie specjalnym”, pod namiotami, gdzie panowała wysoka śmiertelność. W Buchenwaldzie umieszczani również byli Romowie i Sinti, Czesi, a także zakładnicy holenderscy i jeńcy sowieccy, a także lotnicy alianccy zestrzeleni nad Francją oraz duża grupa duńskich policjantów. W 1944 do obozu trafili również powstańcy warszawscy, między innymi z warszawskiej Woli.
W KL Buchenwald od 1937 do 1945 przebywało łącznie ok. 250 tys. osób ze wszystkich krajów Europy, liczbę ofiar szacuje się na 56 tys. Wielu więźniów zabijanych było przez powieszenie, zastrzykiem fenolu w serce, rozstrzelaniem lub za pomocą gazu w pobliskim Bernburgu. Wielu zmarło z wyczerpania już po wyzwoleniu obozu przez Amerykanów. Pochowano ich w grobach indywidualnych koło Wieży Bismarcka. Po zburzeniu wieży i wybudowaniu pomnika władze NRD ekshumowały ich szczątki i przeniosły do grobów masowych usytuowanych wokół pomnika. Grób ośmiu więźniów polskich zmarłych po wyzwoleniu obozu znajduje się na skraju cmentarza na prawo od pomnika.