Następnie pracował naukowo. W 1925 r. został wybrany na sekretarza generalnego Partii Pracy. Do pracy w administracji państwowej powrócił po przewrocie majowym. Pełnił obowiązki szefa gabinetu premiera Kazimierza Bartla (przywódcy Partii Pracy), następnie był członkiem Rady Nadzorczej Polskiej Agencji Telegraficznej (PAT).
31 sierpnia 1927 mianowany na posła RP w Czechosłowacji. Poselstwem w Pradze kierował do 31 października 1935, po czym mianowany na podsekretarza stanu w Prezydium Rady Ministrów.
Od 1 lipca 1936 ambasador RP w ZSRR (mianowany 18 czerwca 1936). Na stanowisku ambasadora w Moskwie zastąpił Juliusza Łukasiewicza, specjalistę od spraw sowieckich, byłego wieloletniego naczelnika Wydziału Wschodniego MSZNa placówce w Moskwie w latach 1933–1936.. W Moskwie misja Grzybowskiego przypadła na przełomowy w polityce europejskiej okres (1936–1939). Sytuację w ZSRR w końcu 1938 oceniał następująco (wobec wiceministra Szembeka): Związek Radziecki słabnie, a problem rosyjski dojrzewa. W końcu 1938 r. stał na stanowisku, że "w zakresie problemu rosyjskiego osobiście stoi na stanowisku naszej granicy z roku 1772"Dariusz Matelski, Dylematy polityki zagranicznej Józefa Becka w latach 1932–1939, [w:] Problemy bezpieczeństwa Polski w XXI wieku. Red.