1937-1945 był deputowanym do Rady Najwyższej ZSRR. Od 2 listopada 1938 do śmierci I sekretarz Komitetu Obwodowego WKP(b) w Moskwie, od marca 1939 członek Komitetu Centralnego WKP(b) i Biura Organizacyjnego KC, od 21 lutego 1941 zastępca członka Biura Politycznego KC WKP(b), od 10 maja 1941 do śmierci sekretarz KC. Od maja 1942 szef Radzieckiego Biura Informacyjnego, od 4 czerwca 1942 do śmierci szef Głównego Zarządu Politycznego Armii Czerwonej. 17 września 1943 mianowany generałem pułkownikiem. Zmarł na zawał.
W 1946 na jego cześć miasto Rybińsk przemianowano na Szczerbakow (do 1957). Jego imieniem nazwano też Park Kultury i Wypoczynku w Doniecku, dzielnicę i stację metra w Moskwie i ulice w Kijowie, Mińsku, Permie, Jekaterynburgu, Lipiecku i Petersburgu.
Odznaczenia Order Lenina (trzykrotnie) Order Suworowa I stopnia (1944) Order Kutuzowa I stopnia (1944) Order Wojny Ojczyźnianej I stopnia
Bibliografia Piotr Gontarczyk, Polska Partia Robotnicza.