Za Drugiej Restauracji został mianowany Wielkim Szambelanem.
Gdy mieszkał na emigracji w Londynie, spotkał w 1810, w domu zamkniętym na Piccadilly, Sophie Dawes − służącą, którą uczynił swoją metresą. Umożliwił jej otrzymanie upragnionej edukacji. W czasach Restauracji biorąc pod uwagę separację z nią, wydał ją za barona de Feucheres.
Testament W 1829 podpisał testament przekazując baronowej de Feucheres 2 miliony franków, swoje zamki i majątki w Saint-Leu, Taverny, Enghien, Montmorency, i Mortefontaine, jak również pawilon w Pałacu Burbońskim i zamek Écouen w celu stworzenia sierocińca dla dzieci żołnierzy z armii Kondeusza i z Wandei. Resztę swej fortuny − której zamek Chantilly i wszystkie jego dobra warte ok. 66 milionów franków − zapisał swemu potomkowi i chrześniakowi − diukowi d'Aumale, synowi Ludwika Filipa Orleańskiego, przyszłego króla Francuzów. Ten ostatni znalazł się wtedy w wieku ośmiu lat na czele największej fortuny ziemskiej i finansowej Francji.