W 1804 roku, wraz z Piusem VII, udał się do Paryża, by wziąć udział w koronacji cesarskiej Napoleona. Rok później został mianowany proprefektem Kongregacji Rozkrzewiania Wiary. Na wypadek, gdyby papież musiał opuścić Rzym, mianował di Pietra delegatem apostolskim wiecznego miasta. Kardynał był także jedną z głównych osób opracowujących bullę ekskomunikującą Quum memoranda. Gdy wraz z Ercole Consalvim musiał udać się do Francji, przekazał uprawnienia nuncjusza rzymskiego kardynałowi Emmanuele de Gregorio. Po tym jak odmówił wzięcia udziału w ceremonii ślubnej Napoleona i Marii Austriaczki, cesarz zesłał go do Semur-en-Auxois. W 1810 roku został uwięziony w Vincennes, za list do kleru francuskiego, w którym nakazał nie uznawać Jeana-Sifreina Maury’ego za arcybiskupa Paryża. W 1811 roku został przywrócony do stolicy Francji, jednak niemal natychmiast ponownie go osadzono. Po dwóch latach, gdy Pius VII podpisał konkordat z Fontainebleau, został uwolniony, lecz gdy papież wycofał swój podpis, kardynał po raz kolejny znalazł się w więzieniu. Wiosną 1814 roku rząd tymczasowy uwolnił di Pietra, który powrócił do Rzymu.