Para miała tylko jednego syna Hieronima Napoleona Bonapartego, który urodził się w 1805 roku, zwanego z amerykańska „Bo”.
Betsy Patterson zwątpiła w królewską przyszłość i rozpoczęła starania o amerykański rozwód, który uzyskała w 1813 roku. Nie myślała o powtórnym małżeństwie; powiedziała ojcu: "Nic nie skłoni mnie do poślubienia kogokolwiek z Ameryki, skoro miałam za męża brata cesarza". Poświęciła się wydziedziczonemu synowi. Hieronim ożenił się ponownie z Katarzyną Wirtemberską, a ich syn został również nazwany Hieronimem Napoleonem, bez zważania na uczucia Elżbiety.
Elisabeth Patterson przyjechała do Europy w 1819 roku ze swoim synem, nazywanym "Bo" i udała się do Włoch. Została przyjęta z niezwykłą uprzejmością przez byłą teściową, szwagrów Lucjana, Ludwika i szwagierkę Paulinę, którzy potraktowali ją i jej syna jak członków rodziny. W późniejszym czasie Betsy zaprzyjaźniła się ze starszym bratem cesarza Napoleona, Józefem, byłym królem Neapolu i Hiszpanii.
Betsy nie zobaczyła się z mężem, poza przypadkowym spotkaniem kilka lat później w galerii pałacu Pitti we Florencji. Nie zamienili ze sobą wtedy ani słowa, a Hieronim z drugą żoną uciekli z sali.