Zaraz potem podjął cztery ważne decyzje: zwiększył liczebność Kolegium Kardynałów (unieważniając dekret Sykstusa V), postanowił zwołać synod i sobór powszechny, a także zrewidować kodeks prawa kanonicznego.
Pierwszy w historii Rzymu Synod Biskupów odbył się w dniach 24–31 stycznia 1960 r. i był określany jak wstęp do soboru. Historycy są jednomyślni, że najdonioślejszym wydarzeniem pontyfikatu Jana XXIII było zwołanie II soboru watykańskiego, którego zadaniem było otwarcie Kościoła na odłączonych i dostosowanie go do wymogów nowej epoki. Pierwsza komisja przygotowująca sobór zaczęła obradować w czerwcu 1959 r.. Rok później papież utworzył dziesięć komisji soborowych i komisję główną. Wkrótce potem rozesłał zapytania do biskupów świata z prośbą o propozycje tematów – odpowiedzi było na tyle dużo, że nie zdążono nawet wszystkich przygotować. W Boże Narodzenie w 1961 r. papież postanowił, że sobór zostanie otwarty 11 października 1962 r. (początkowo przewidywał, że potrwa kilka miesięcy). Na obrady zaproszonych było 18 Kościołów niekatolickich. Sam papież nie brał udziału w obradach. Raz jednak interweniował, kiedy to schemat o objawieniu został odrzucony większością ojców soborowych, lecz niewystarczającą większością 2/3 (papież skierował wówczas schemat do ponownych obrad specjalnej komisji).