Po wkroczeniu wojsk napoleońskich do Państwa Kościelnego i aresztowaniu papieża kardynał także został aresztowany i deportowany do Paryża 20 stycznia 1810. Wykazał tam postawę bezkompromisową wobec cesarza i odmówił udziału w ceremonii ślubnej Bonapartego i Marii Austriaczki, skutkiem czego cesarz "pozbawił" go własności i tytułu kardynalskiego oraz nakazał mu chodzić w zwykłych czarnych szatach. Skazał go także na banicję do Reims (czerwiec 1810), gdzie przebywał z kardynałem Cesare Brancadoro aż do stycznia 1813. Po uwolnieniu, dołączył do papieża i doradził mu renegocjację konkordatu z Fontainebleau. Pius przystał na tę propozycję i nadał Consalviemu uprawnienia reprezentowania go w sprawach odzyskania ziem Państwa Kościelnego. Po ucieczce Napoleona z Elby Ercole Consalvi został ponownie uwięziony 27 stycznia 1814 w Béziers, lecz już 2 kwietnia został uwolniony i nieco ponad dwa tygodnie później dołączył do papieża. 17 maja 1814 ponownie został mianowany sekretarzem stanu a także Bibliotekarzem Świętego Kościoła Rzymskiego i obie funkcje pełnił do śmierci Piusa VII, 20 września 1823. Wkrótce po nominacji kardynał udał się do Paryża, lecz nie zdążył na podpisanie traktatu pokojowego i nie udało mu się uzyskać zwrotu eksklaw Awinionu i Venaissin.