Wkrótce potem zajął ponownie Lateran, lecz po dwóch miesiącach najprawdopodobniej sprzedał godność papieską archiprezbiterowi Grzegorzowi VI. Po raz trzeci wstąpił na Stolicę Apostolską w 1047 roku, na fali entuzjazmu ludności. Społeczne niezadowolenie Rzymian spowodowało, że już rok później został zmuszony do ostatecznej rezygnacji i wycofania się do rodzinnego Tusculum. Abdykacja Benedykta IX zakończyła okres dominacji hrabiów Tusculum i ich bezpośredniego wpływania na wybór papieża. Późniejsi hrabiowie próbowali jeszcze utrzymać swą władzę, choćby przez nominację antypapieża Benedykta X.
Schyłek (1048–1170) Gdy Benedykt IX sprawował jeszcze swoją funkcję, na czele rodu hrabiów stał jego brat, Grzegorz II – nie chciał on jednak wstąpić na Tron Piotrowy, ponieważ spodziewał się, że Rzymianie nie chcieliby jednoczesnego połączenia władzy świeckiej i duchowej. Po jego śmierci, władzę objął jego syn, Grzegorz III, który był bratem Piotra z Colonny (protoplasty rodu Colonnów). Podobnie jak poprzednicy, Grzegorz nosił tytuł patrycjusza i konsula rzymskiego, jednak nie był senatorem. Jego następcą został Ptolemeusz I. W celu odzyskania wpływów, usiłował on wzniecić powstanie przeciwko Paschalisowi II.