Był dwukrotnie żonaty. Po raz pierwszy ożenił się w lipcu 1313 r. Poślubił wówczas Joannę Burgundzką, zwaną Kulawą (1293 – 12 września 1348), córkę księcia Burgundii Roberta II i Agnieszki, córki króla Francji Ludwika IX Świętego. Joanna była apodyktyczną osobą, która zawsze forsowała swoje zdanie. Według współczesnych to ona faktycznie rządziła Francją. Filip miał z nią sześciu synów i dwie córki: Filip (ur. i zm. 1315) Joanna (ur. i zm. 1317) Jan II Dobry (26 kwietnia 1319 – 8 kwietnia 1364), król Francji Maria (1326 – 22 września 1333) Ludwik (ur. i zm. 17 stycznia 1328) Ludwik (8 – 23 czerwca 1330) Jan (1332 – 2 października 1333) Filip (1 lipca 1336 – 1 września 1375), książę Orleanu
29 stycznia 1349 w Paryżu poślubił Blankę z Évreux (1331 – 5 października 1398), córkę hrabiego Filipa d’Évreux i królowej Nawarry Joanny II, córki króla Francji Ludwika X Kłótliwego. Filip i Blanka mieli razem jedną córkę: Joanna (maj 1351 – 16 września 1371)
Filip miał również dwóch nieślubnych synów: Jan d’Armagnac (zm. po 1350) Tomasz de La Marche (1317 – 1361), pan de La Marche, syn Filipa i Beatrix de la Berruere