W czasie dalszych studiów pracował jako duszpasterz w Rzymie (1920–1923). W 1923 r. podjął pracę w dyplomacji watykańskiej, był m.in. sekretarzem nuncjusza apostolskiego w Polsce (maj–listopad 1923). Po powrocie do Watykanu był urzędnikiem Sekretariatu Stanu, jednocześnie w latach 1925–1933 sprawował funkcję narodowego asystenta kościelnego sekcji uniwersyteckiej włoskiej Akcji Katolickiej. Otrzymał tytuły: tajnego szambelana papieskiego (1925), prałata Jego Świątobliwości (1931), protonotariusza apostolskiego (1938).

16 grudnia 1937 został mianowany substytutem w Sekretariacie Stanu; był jednym z najbliższych współpracowników sekretarza stanu, kardynała Eugenia Pacellego (późniejszy Pius XII). 19 listopada 1952 papież mianował go prosekretarzem stanu do bieżących spraw kościelnych. 29 listopada 1952 na tajnym konsystorzu papież wyraził chęć kreowania Montiniego kardynałem, lecz on odmówił.

Biskup 1 listopada 1954 Pius XII mianował go arcybiskupem Mediolanu. Sakrę biskupią przyjął 12 grudnia 1954 w Rzymie z rąk dziekana Kolegium Kardynalskiego Eugène’a Tisseranta. Ingres odbył się 6 stycznia 1955. Cieszył się opinią „arcybiskupa robotników”;