W pierwszym okresie znajdowało się w obozie około 800 więźniów, w późniejszym okresie (1941) 2500, a okresowo nawet ponad 4 tysiące. thumb|left|Wieża wartownicza (poligon Pustków – rekonstrukcja) thumb|left|Współczesna rekonstrukcja baraku żołnierskiego i więźniarskiego Obóz w Pustkowie składał się z części dla Żydów (od października 1940 do 23 lipca 1944), dla jeńców radzieckich (od października 1941 do lutego 1942) i obozu karnego dla Polaków (od września 1941 do 27 lipca 1944)W obozie Pustków zginął m.in. Antoni Olszewski, były minister przemysłu i handlu w rządzie Leopolda Skulskiego.. W obozie w Pustkowie przebywali więźniowie przywiezieni z Białej Podlaskiej, Krakowa, Rzeszowa, Tarnowa, Warszawy, Wieliczki i Żywca. Latem 1942 roku Żydów przeniesiono do drugiego obozu w Pustkowie, a część wywieziono do obozu Sonderkommando Belzec na Lubelszczyźnie. 16 września 1942 wywieziono tam także niemal wszystkich pozostałych, pozostawiając tylko 216 rzemieślników (później ich liczba wzrosła do 600).