Z początkiem agresji na Polskę przekształcona na krótko w Grupę Armii Północ. W 1940 roku 2 Armia uczestniczyła w agresji na Francję, a w 1941 roku na Bałkany. Po zakończeniu działań bojowych na Bałkanach, 22 czerwca 1941 roku wzięła udział w ataku na Związek Radziecki. Na terytorium ZSRR walczyła przeciw Armii Czerwonej do 1944 roku, głównie w składzie Grupy Armii Środek.
Następnie walczyła w Prusach Wschodnich posiadając na wyposażeniu m.in. 170 czołgów i 175 dział pancernych. Po natarciu Armii Radzieckiej wykonanym 24 lutego 1945 roku została zepchnięta w rejon Zatoki Gdańskiej. W tym czasie skład 2 Armii uległ znacznym zmianom ponieważ w walkach zostały rozbite lub zniszczone liczne jednostki wchodzące w jej skład. 1 Armia Wojska Polskiego rozbiła w lutym 15 Dywizję Grenadierów SS (dywizję odtworzono w marcu). W kwietniu 1945 roku po uzupełnieniu resztkami wojsk XX KA, XXVIII KA i XXXXI KPanc przemianowana na Armię Prusy Wschodnie. W tym samym czasie jednostki wchodzące w jej skład zostały odcięte, i ściśnięte w rejonie Helu, Kępy Oksywskiej, Żuław i Mierzej Wiślanej, nie odgrywając do końca wojny istotnej roli. W maju 1945 roku żołnierze armii oddali się do niewoli Armii Czerwonej. Kapitulacja miała miejsce na półwyspie Helskim.