Agresję na Francję zakończyła bitwą na polach Flandrii, oraz natarciem przez Sommę na Brest.
Szlak bojowy w trakcie ataku na Związek Radziecki rozpoczęła 22 czerwca 1941 roku atakiem z rejonu Białegostoku, i kontynuowała przez Mińsk i Smoleńsk, aż do przedmieść Moskwy, gdzie została zatrzymana przez Armię Czerwoną. W tym czasie 4 Armią dowodził feldmarsz. Günther von Kluge i składała się z VII KA, XIII KA, IX KA i XXXXIII KA. Natomiast w czasie bitwy pod Moskwą 4 Armia składała się z trzech korpusów: VII KA, IX KA i XX KA. Następnie armia brała udział w walkach odwrotowych w składzie Grupy Armii Północ. W 1944 roku do składu 4 Armii włączono I Korpus Kawalerii. W kwietniu 1945 roku po ewakuacji z Prus Wschodnich przemianowana w 21 Armię.
Dowódcy armii feldmarszałek Günther von Kluge (sierpień 1939 – 19 grudnia 1941) gen. Ludwig Kübler (19 grudnia 1941 – 20 stycznia 1942) gen. Gotthard Heinrici (20 stycznia 1942 – 4 czerwca 1944) gen. Kurt von Tippelskirch (4 czerwiec 1944 – 30 lipca 1944) gen. por. Vincenz Müller (30 lipca 1944 - 7 sierpnia 1944) gen. Kurt von Tippelskirch (7 sierpnia 1944 - 18 sierpnia 1944) gen. Friedrich Hoßbach (18 sierpnia 1944 - 29 stycznia 1945) gen. Friedrich-Wilhelm Müller (29 stycznia 1945 - 16 kwietnia 1945) gen.