Rząd Baldwina utrzymał się do stycznia 1924 r., kiedy Izba Gmin głosami laburzystów i liberałów udzieliła mu wotum nieufności. Baldwin natychmiast podał swój rząd do dymisji.
Przez kolejnych 10 miesięcy Baldwin był liderem Opozycji. 25 października 1924 r., na cztery dni przez planowanymi wyborami parlamentarnymi, w konserwatywnym Daily Mail ukazał się tzw. „list Zinowjewa” (Zinoviev Letter), adresowany do Komitetu Centralnego Komunistycznej Partii Wielkiej Brytanii, który nawoływał partię do zwiększenia agitacji w Wielkiej Brytanii, zwłaszcza w siłach zbrojnych. Konserwatyści wykorzystali to do kampanii przeciwko brytyjsko-radzieckiemu traktatowi handlowemu z 8 sierpnia, który ich zdaniem był furtką dla radzieckich wpływów w brytyjskim ruchu robotniczym.
Wybory parlamentarne 1924 r. zakończyły się przygniatającym zwycięstwem konserwatystów, który uzyskali nad laburzystami przewagę 223 mandatów. Baldwin po raz drugi w swojej karierze stanął na czele rządu i pozostawał na tym stanowisku przez kolejne 5 lat. Najważniejszym wydarzeniem tego okresu był strajk generalny 1926 r., spowodowany przez planowane przez rząd ograniczenia płac górników. Górnicy rozpoczęli strajk 1 maja. Wkrótce przyłączyły się do nich inne związki zawodowe i strajk przekształcił się w strajk generalny.