Ludwik był dwukrotnie żonaty. Po raz pierwszy ożenił się w marcu 862 r. z Ansgardą (zm. 2 listopada po 879), córką hrabiego Harduina. Ślub odbył się potajemnie i wbrew woli ojca Ludwika, który też rychło wyjednał u papieża unieważnienie małżeństwa. Ludwik i Ansgarda mieli razem dwóch synów i dwie córki: Hildegarda (864 – ?) Gizela (865 – 884), żona Roberta, hrabiego Troyes Ludwik III (ok. 865 – 5 sierpnia 882), król Franków Zachodnich Karloman II (ok. 866 – 12 grudnia 884), król Franków Zachodnich
Drugą żoną Ludwika była Adelajda z Paryża (850/853 – 10 listopada 901), córkę Adalarda, hrabiego Paryża. Małżeństwo to nie było udane i Ludwik starał się, bezskutecznie, o rozwiązanie tego małżeństwa z powodu zbyt bliskiego pokrewieństwa (babka Adelajdy była nieślubną córką Ludwika I Pobożnego, dziadka Ludwika II, lub Karola Wielkiego, jego pradziadka). Podczas powtórnej koronacji królewskiej w 878 r. Ludwik odmówił zgody na koronację Adelajdy. Ludwik i Adelajda mieli razem syna i córkę: Ermentruda (875 – 914), żona Wernera z Ivrei Karol III Prostak (17 września 879 – 7 października 929), król Franków Zachodnich