Więźniowie Skrobowa byli w większości żołnierzami AK – z tej grupy wszyscy wstąpili do LWP i stamtąd trafili do obozu. Większość stanowili również oficerowie działający wcześniej w partyzantce antyniemieckiej, z których kilku walczyło w powstaniu warszawskim. W obozie było jednak również kilku oficerów, którzy stopnie otrzymali podczas wojny polsko-bolszewickiej, a później nie brali udziału w jakichkolwiek walkach. Wielu osadzonych pochodziło z Okręgu Lubelskiego AK, ale każdy okręg na wschód od Wisły miał swoją reprezentację w Skrobowie. Większą część internowanych stanowili również żołnierze 27 Wołyńskiej Dywizji Piechoty. W obozie było też kilku partyzantów ze zgrupowania „Jeszcze Polska nie zginęła” i Batalionów Chłopskich, jeden andersowiec Roman Sznajder, a także trzech cywilów – dwóch nauczycieli i organista. Łącznie więźniów było 513.
Najwyższym stopniem więźniem był ppłk. Edward Pisula, wybrany przez więźniów na starszego obozu, czyli ich przedstawiciela w kontaktach z władzami.