Zatrudnieni zostali w dużej części wcześniejsi oficerowie SS, SD, Gestapo, a przede wszystkim Wehrmachtu. Przeprowadzone na początku lat 50. przez CIA śledztwo wykazało, że od 13 do 28 procent pracowników Organizacji Gehlena to byli członkowie NSDAP, z których od 5 do 8 procent to byli członkowie SS, SD albo SA. W przybliżeniu pod koniec lat 40. około 400 pracowników zazwyczaj wysokiej rangi posiadało taką przeszłość. Jeszcze w latach 70. od 25 do 30 procent zatrudnionych w BND było niegdyś członkami tych organizacji.
Stworzyli oni służbę wywiadowczą początkowo bez nazwy, choć zwyczajowo zwaną „Organisation Gehlen”, w amerykańskiej strefie okupacyjnej. Rząd USA był zainteresowany wiedzą specjalistyczną wywiadowców III Rzeszy, bo jego własne służby specjalne w tym czasie, gdy rozpoczynała się zimna wojna, nie dysponowały niemal żadną wiedzą o sowieckim wojsku. Obok wywiadu wojskowego i szpiegostwa przeciw sowieckiej strefie okupacyjnej w Niemczech i innym państwom bloku wschodniego Organizacja Gehlena miała się też zajmować obroną przed „zagrożeniem komunistycznym” wewnątrz Niemiec Zachodnich.