Po restauracji Burbonów w roku 1814 Hortensja miała romans z carem Aleksandrem I, który udzielił jej swej protekcji i skłonił Ludwika XVIII do przyznania jej apanażu i nadania tytułu księżnej de Saint-Leu. W okresie "stu dni Napoleona" Hortensja opowiedziała się za cesarzem, co doprowadziło do jej banicji z Francji w roku 1816. Prowadziła z synami wędrowne życie po Niemczech, Szwajcarii i Włoszech, aż w końcu postanowiła się osiedlić w Szwajcarii i zakupiła w roku 1817 pałacyk Arenenberg w miejscowości Salenstein, w kantonie Turgowia, gdzie mieszkała do końca życia (w 1906 roku cesarzowa-wdowa Eugenia podarowała zamek kantonowi).
Ostatnie lata miała trudne: w 1831 roku syn Napoleon Ludwik Karol zmarł nagle jako powstaniec włoski, w 1837 ostatni syn, Ludwik Napoleon, został zmuszony do ucieczki do USA po nieudanej próbie zamachu stanu we Francji. Hortensji udało się zawiadomić go o swej ciężkiej chorobie; powrócił w pośpiechu do Europy i był obecny przy jej ostatnich chwilach. Do końca życia Napoleon III nosił przy sobie jej ostatni list.