Za pontyfikatu papieża Benedykta XIII (1724–1730) kardynał Albani popadł w konflikt z głównym doradcą papieża kardynałem Niccolò Coscia. W 1727 wycofał się do Urbino i zrezygnował z funkcji gubernatora Frascati i Castel Gandolfo, którą sprawował od 1 grudnia 1712, a jego mandat był kilkakrotnie odnawiany (po raz ostatni w 1726). Annibale Albani protestował także przeciwko przywilejom udzielonym przez tego papieża monarchii sabaudzkiej, co z kolei przejściowo poróżniło go z młodszym bratem, kardynałem Alessandro Albanim (1692–1779).
W 1730, po wyborze nowego papieża Klemensa XII, Annibale uzyskał promocję do rangi biskupa suburbikarnej diecezji Sabina i przyjął sakrę biskupią z rąk kardynała Francesco Barberiniego. W 1736 celebrował w Sabinie synod diecezjalny. Rozbudował też miejscowe seminarium oraz ufundował bank pobożny. Ostatecznie jednak, w 1743 wymienił diecezję sabińską na diecezję suburbikarną Porto e S. Rufina.
W lutym 1747 zrezygnował z urzędu kamerlinga Świętego Kościoła Rzymskiego w proteście przeciwko niekonsultowanej z nim reformie Archigimnazjum Rzymskiego, która osłabiała jurysdykcję kamerlinga nad tą instytucją. Reformę tę papież Benedykt XIV ostatecznie przeprowadził w 1748.