Już wczesną wiosną 1942 roku, w związku z realizacją planu zagłady Żydów (Endlösung), Niemcy zaczęli zwozić ich do obozu w Budzyniu. Akcja napełniania obozu więźniami trwała prawdopodobnie tydzień. Początkowo przywieziono tu Żydów z pobliskich okolic: z Kraśnika (ponad 1000 osób), Janowa Lubelskiego, Bełżyc, Końskowoli.
Potem dostarczano ich z większych miast Związku Radzieckiego: Bobrujska, Mińska, Mohylowa Smoleńska, a także: z Wiednia, ze Słowacji.
Po wybuchu powstania w getcie warszawskim przywieziono do Budzynia ponad 1500 Żydów z Warszawy. Wśród nich byli pracownicy warsztatów lotniczych „Skoda” na Okęciu. Więziono tu również kilkudziesięciu Żydów jeńców armii polskiej, którzy uczestniczyli w kampanii wrześniowej 1939 r. Przywieziono ich tu z obozu znajdującego się w Lublinie przy ul. Lipowej.
Więźniowie Większość źródeł podaje, że w roku 1943 w obozie tym przebywało około 3000 więźniów. Liczba więźniów stale się zmieniała, a to na skutek rozstrzeliwania, bądź wywożenia do miejsc straceń. Wiadomo jednak, że w okresie istnienia tego obozu w latach 1942–1944 znajdowało się w nim stale od 2000 do 4000 więźniów (w tym od 700 do 800 kobiet – one jednak szybko były wysyłane na stracenie do KL w Lublinie na Majdanku).