Po zakończeniu wojny pozostał w wojsku i piął się po drabinie wojskowej kariery. Był m.in. szefem sztabu IV Okręgu Wojskowego w Dreźnie w stopniu pułkownika i dowódcą 5. pułku artylerii w Fuldzie. Był łagodny wobec oficerów powiązanych z NSDAP, dzięki czemu zwrócił na siebie uwagę Adolfa Hitlera. Jesienią 1933 został szefem Urzędu Wojska (niem. Truppenamt) w randze generała. Następnie był szefem OKH.
Należał do oficerów opowiadających się za rewizją traktatu wersalskiego oraz za zbrojeniami i powszechnym obowiązku służby wojskowej. Beck był jednak przeciwny wciąganiu Niemiec w wojnę, uważając, że Niemcy mogą osiągnąć swoje cele dzięki polityce, a do konfliktu zbrojnego nie są jeszcze przygotowane. Szczególnie uważał, że należy unikać wojny z Wielką Brytanią. Już jako szef OKH próbował odwieść Hitlera od pomysłu odebrania Czechosłowacji Kraju Sudetów. Wódz Rzeszy był jednak przekonany, że Wielka Brytania i Francja po tym, jak pozwoliły na aneksję Austrii (tzw. Anschluss), zgodzą się na wszystko, byleby tylko utrzymać pokój. Beck wiedział, że Wehrmacht jest zbyt słaby, by prowadzić wojnę z Wielką Brytanią i – jako że cieszył się wielkim szacunkiem wśród oficerów sztabu – próbował ich przekonać, by odwiedli Hitlera od jego militarystycznych planów.