W czasie wojny najcenniejsze archiwalia zostały ewakuowane do Rumunii, a ewakuacją kierował ówczesny dyrektor Archiwum, mjr Bolesław Waligóra. W listopadzie 1939 archiwalia te zostały dalej ewakuowane przez Paryż do Londynu i do Nowego Jorku. Dyrekcja CAW była jednak współodpowiedzialna za dopuszczenie do przejęcia przez Niemców po kapitulacji Warszawy archiwaliów odpowiedzialnego za wywiad i kontrwywiad Oddziału II Sztabu Generalnego Wojska Polskiego przechowywanych w forcie Legionów. Zostały one wywiezione przez Niemców do Gdańska Oliwy, a następnie wykorzystane do likwidacji pracowników polskiego wywiadu, kontrwywiadu i ich współpracowników, a także polskich działaczy niepodległościowych.
Zbiory przejęte przez III Rzeszę Niemiecką gromadzone w Gdańsku Oliwie zostały w większości odzyskane. Ze zbiorów przejętych przez ZSRR w 1964 r. strona radziecka zwróciła małą część (ok. 400 m.b. akt), przy czym ok. 10 000 j.a. pozostało w Centralnym Archiwum Specjalnym przy MWD (od 1964 r. przy Radzie Ministrów ZSRR) w Moskwie.