Po śmierci Hadriana V i wobec suspensy konstytucji Ubi periculum, kardynałowie usiłowali zebrać się w Viterbo, gdzie wybuchły zamieszki. Dzięki sugestiom Giovanniego Orsiniego, na Stolicę Piotrową wybrali Piotra Hiszpana. Przyjął imię Jana XXI pomimo tego, iż powinien był przybrać imię Jan XX. Zrobił to po zbadaniu papieskich archiwów, wyciągnął jednak z dokumentów błędny wniosek, jakoby po Janie XIV wybrany został kolejny papież o tym imieniu, który został pominięty w oficjalnej numeracji. W istocie występującym w ówczesnych kronikach papieżem Janem był po prostu Jan XIV, uwięziony przez antypapieża Bonifacego VII, który zawładnął wówczas Rzymem.
Pontyfikat Już na samym początku pontyfikatu wydał dwie bulle. W pierwszej potwierdzał decyzje swojego poprzednika o zmianie niektórych postanowień Soboru lyońskiego II (1274). W drugiej potępił osoby, które brały udział w zamieszkach, jakie wybuchły podczas ostatniego konklawe.