19 września 1790 w Wiedniu poślubił Marię Teresę Burbon (1772–1807), córkę króla Sycylii i Neapolu Ferdynanda I i Marii Karoliny Habsburg. Franciszek i Maria Teresa mieli 12 dzieci: Maria Ludwika (1791–1847) ∞ cesarz Francuzów Napoleon Bonaparte Ferdynand (1793–1875), cesarz Austrii Maria Karolina (1794–1795) Karolina (1795–1799) Maria Leopoldyna (1797–1826) ∞ cesarz Brazylii i król Portugalii Piotr I Bragança Maria Klementyna (1798–1881) ∞ książę Salerno Leopold Burbon-Sycylijski Józef (1799–1807) Maria Karolina (1801–1832) ∞ książę Saksonii Fryderyk August II Wettyn, późniejszy król Franciszek Karol (1802–1878) ∞ księżniczka Bawarii Zofia Wittelsbach, ojciec cesarza Austrii Franciszka Józefa, cesarza Meksyku Maksymiliana Maria Anna (1804–1858) Jan Nepomucen (1805–1809) Amalia (*/† 1807)
Po śmierci Marii Teresy, ożenił się po raz trzeci. 6 stycznia 1808 roku poślubił księżniczkę Marię Ludwikę Habsburg-Este (1787–1816), córkę arcyksięcia Ferdynanda Habsburga i Marii Beatrycze d’Este. Para nie miała dzieci. Maria Ludwika zmarła w wieku 28 lat.
29 października 1816 roku w wieku 48 lat poślubił 24-letnią księżniczkę bawarską Karolinę Augustę Wittelsbach, córkę króla Bawarii Maksymiliana I Józefa i Augusty Wilhelminy Marii Hessen-Darmstadt.