W czasie tej drugiej legacji mnisi z Cluny oskarżyli go o symonię i przedstawili te zarzuty Stolicy Apostolskiej. Papież Grzegorz VII, wybrany w kwietniu 1073 głównie dzięki poparciu Hugona, odrzucił jednak te zarzuty i zadeklarował pełne zaufanie do kardynała; co więcej, ponownie mianował go legatem w Hiszpanii. Już w 1075 roku doszło jednak do konfliktu między nimi. W tym roku Hugo został ekskomunikowany przez Grzegorza VII za współpracę z przeciwnikami papieża w północnej Italii. W styczniu 1076 Hugo wziął udział w synodzie w Wormacji, na którym niemiecki episkopat wypowiedział posłuszeństwo papieżowi. W rezultacie w marcu 1078 został ostatecznie pozbawiony godności kardynalskiej.
25 czerwca 1080 Hugo Candidus wziął udział w wyborze antypapieża Klemensa III (Wiberta z Rawenny) na synodzie Brixen. Klemens III potwierdził jego godność kardynalską, wbrew zarządzeniu Grzegorza VII z 1078 roku. Podpisał on bullę antypapieża datowaną 4 listopada 1084 jako kardynał San Clemente. Z bulli tej wynika, że Hugo w tym czasie sprawował też funkcję biskupa Fermo, jednak okoliczności objęcia przez niego tej funkcji nie są znane. W 1085 roku był legatem Klemensa III w Niemczech. Po powrocie z tej legacji został mianowany kardynałem biskupem Palestriny (prawdopodobnie w 1089). W sierpniu 1098 uczestniczył w „wibertyńskim” synodzie w Rzymie.