Lima tahun kemudian secara mengejutkan Kardinal Angelo Guiseppe Roncalli yang saat itu sudah berusia 77 tahun terpilih menjadi Paus dalam Konklaf yang digelar setelah meninggalnya Paus Pius XII. Sebagai Paus Ia memilih nama Yohanes XXIII.
Walau masa kepemimpinannya sebagai Paus cukup singkat, namun karyanya yang luar biasa membuat ia mendapat julukan: "Paus Yohanes Yang Baik."
Sebagai paus dia sangat menekankan tugas pastoral bagi setiap orang, bagi para uskup dan para imam lainnya.
Ia mempromosikan reformasi sosial bagi para buruh, masyarakat miskin, anak-anak yatim dan anak-anak terlantar.
Paus Yohannes XXIII sangat dihargai oleh pemimpin Gereja Kristen Non-Katolik karena kerja kerasnya untuk menyatukan gereja Tuhan yang terpecah-pecah.
Walau mendapatkan banyak tantangan namun Paus Yohannes XXIII tetap berupaya mereformasi hubungan antara Gereja Katolik dengan Gereja Denominasi Kristen lainnya seperti Gereja Protestan, Gereja Ortodoks Yunani, dan Gereja Anglikan Inggris.
Suatu hal yang pada waktu itu tidak terbayangkan dapat muncul dari kekuasaan tertinggi Tahta Suci.
Pada bulan April 1959 Paus mengeluarkan keputusan yang dengan tegas menentang gerakan komunisme.
Paus mengeluarkan larangan bagi umat Katolik untuk memilih partai yang mendukung atau yang berhaluan Komunis.
Pada 25 Januari 1959, Paus Yohanes XXIII mengumumkan niatnya untuk mengadakan sebuah Konsili untuk membahas cara-cara untuk memperbaharui Gereja Katolik dalam dunia modern, mempromosikan keragaman dalam kesatuan Gereja, dan membahas Reformasi untuk Gerakan Ekumenis dan liturgi.
Pada 11 Oktober 1962 dilaksanakanlah sebuah konsili besar di abad modern ini yang kita kenal sebagai konsili Vatikan II.
Keikhlasan-nya, cinta-nya yang melimpah bagi sesama; gerakan pembaharuan Gereja serta semangat Ekumenis dalam urusan gerejawi, membuat Paus Yohanes XXIII menjadi salah satu paus yang paling dicintai di zaman modern ini.
Bapa Yohanes XXIII tutup usia pada Jam 7:50 pm tanggal 3 Juni 1963.
Arti nama