Pontyfikat Początkowo rezydował w Bordeaux oraz w Poitiers, ostatecznie osiadł w Awinionie, czym zapoczątkował tzw. niewolę awiniońską. Było to spowodowane całkowitą zależnością papieża od króla francuskiego Filipa IV Pięknego. Ponadto papież był niezdecydowany i chory na nowotwór narządów wewnętrznych, co powodowało wycofywanie się z życia publicznego. Już rok po objęciu Stolicy Piotrowej Klemens mianował 10 nowych kardynałów, z czego dziewięciu z nich było Francuzami (i jeden Anglik). Przez pierwsze 6 lat pontyfikatu Filip naciskał na Klemensa, by dokonał pośmiertnego sądu nad Bonifacym VIII, do czego doszło w lutym 1309 roku. Wprawdzie w 1311 roku postępowanie zostało umorzone, jednak w zamian za to papież był zmuszony do rehabilitacji kardynałów Pietro i Giacomo Colonnów i wypłacenia rekompensaty całej rodzinie, a ponadto zawieszenia postanowień Bonifacego szkodliwych dla Francji i przebaczenia Wilhelmowi Nogaretowi. 5 maja 1313 r. dokonał kanonizacji Celestyna V jako wyznawcy, który zmarł uwięziony.