Według prawa wprowadzonego przez Filipa V tron mogło dziedziczyć jedynie potomstwo urodzone i wychowane w Hiszpanii, a syn i następca Karola III urodził się w Neapolu. Król udzielił zgody na małżeństwo infanta z Marią Teresą, jednocześnie uznając je za morganatyczne. Stosując uchwaloną na tę okazję sankcję pragmatyczną o nierównych małżeństwach z 1776, wydalił parę z dworu i stolicy. Odebrano im również prawo do używania nazwiska i herbu Burbonów, a ewentualne dzieci miały nosić nazwisko matki.
Ludwik Maria był pierwszym dzieckiem infanta i Marii Teresy de Vallabriga, urodził się 22 maja 1777 w Cadalso de los Vidrios. Wychował się z dala od królewskiego dworu, bez przywilejów i korzyści płynących z należnego mu miejsca w linii sukcesyjnej do hiszpańskiego tronu. Od końca 1777 rodzice Ludwika Marii mieszkali w posiadłościach poza stolicą, w Arenas de San Pedro i Velada. Urodziły się tam jego dwie siostry, Maria Teresa i Maria Ludwika. Ich dom był ważnym centrum kultury – Ludwik Antoni i jego żona skupiali wokół siebie wielu utalentowanych malarzy, pisarzy i muzyków, nad którymi sprawowali mecenat. Pomimo że wychował się na wygnaniu i z dala od dworu, Ludwik Maria miał okazję odebrać oświeceniowe wychowanie właściwe dla młodego arystokraty.