Historia NDAP powstała w 1951 na mocy dekretu Rady Ministrów o archiwach państwowychDekret z dnia 29 marca 1951 roku o archiwach państwowych (). i zastąpiła Wydział Archiwów Państwowych działający w Ministerstwie Oświaty. Nowo powołany urząd podlegał bezpośrednio Prezesowi Rady Ministrów, a jego głównym zadaniem było kierowanie działalnością archiwów państwowych. Początkowo NDAP podlegały dwa archiwa centralne, 13 archiwów wojewódzkich i 54 archiwa powiatowe. Pierwszym Naczelnym Dyrektorem Archiwów Państwowych po wydaniu dekretu został prof. Rafał Gerber, który dotychczas pełnił tę funkcję w Wydziale Archiwów Państwowych. Od czasów powstania ważną funkcją urzędu było prowadzenie działalności wydawniczej, w tym publikacja czasopism naukowych takich jak Archeion (nadal wydawany przez NDAP) i Teki Archiwalne (wydawane przez NDAP o 1992) oraz prac z zakresu archiwistyki i historii. Istotną zmianę przyniosła ustawa z 14 lipca 1983 o narodowym zasobie archiwalnym i archiwach, która ustanowiła Naczelnego Dyrektora Archiwów Państwowych jako centralny organ administracji rządowej w sprawach państwowego zasobu archiwalnego. Do 1999 Naczelny Dyrektor Archiwów Państwowych podlegał ministrowi właściwemu do spraw szkolnictwa wyższego, kiedy to został podporządkowany Ministrowi Kultury i Dziedzictwa Narodowego.