Eleonora została jego kochanką i otrzymała tytuł pani Harburga. W 1666 roku urodziła się ich jedyna córka, Zofia Dorota z Celle, która w osiem lat później została prawnie uznana przez swojego ojca, a jej matka mianowana księżną Wilhelmsburga. Dwa lata później książę i jego kochanka wzięli ślub; ich małżeństwo było szczęśliwe.
Ich córka w 1682 roku poślubiła Jerzego Ludwika, który był synem brata jej ojca Ernesta Augusta i Zofii Doroty Wittelsbach. Małżeństwo zostało zawarte z powodów dynastycznych i było nieszczęśliwe. Ostateczne Zofia Dorota została uwięziona przez męża w Zamku Ahlden, gdzie pozostała aż do śmierci. W ostatnich latach swojego życia Eleonora dbała o córkę i starała się o jej uwolnienie, jednakże bez sukcesu.
Eleonore d’Esmier d’Olbreuse, niemal już niewidoma, zmarła 5 lutego 1722 roku w zamku Celle w Celle. W swoim testamencie wymieniła trzysta czterdzieści dwie osoby. Została pochowana w krypcie książęcej w kościele św. Marii w Celle.
Potomstwo Ze związku z Jerzym Wilhelmem (1624–1705), księcia Brunszwiku-Lüneburga miała jedną córkę Zofię Dorotę (ur.