Małżeństwo było nieudane: Ludwik cierpiał na chorobliwą zazdrość i urojenia paranoidalne, a Hortensja na hipochondrię. Ze związku pochodziło trzech synów: Napoleon Ludwik Karol, który zmarł w 1807 roku, w piątym roku życia i którego Ludwik nie chciał uznać, podejrzewając, że jest synem cesarza Napoleona, Napoleon Ludwik, król Holandii przez 10 dni, Ludwik Napoleon, późniejszy cesarz Napoleon III (według niektórych historyków syn Karola de Flahaut).
W 1806 roku Napoleon I stworzył Królestwo Holandii i dał tron swemu bratu Ludwikowi. Hortensja została królową. W roku 1810 Ludwik, skłócony z bratem, został przez niego zmuszony do abdykacji i małżonkowie rozstali się: Hortensja z synami powróciła do Francji, a Ludwik osiedlił się w Niemczech.
Piękna, inteligentna i uwodzicielska Hortensja miała w tych latach wielu kochanków. Najtrwalszym okazał się związek z hrabią Karolem de Flahaut, synem Talleyranda. Miała z nim urodzonego w 1811 roku syna Karola Augusta de Flahaut, który potem jako książę Karol August de Morny odegrał ważną rolę za panowania swego brata przyrodniego, Napoleona III.