7 stycznia 1430 r. poślubił w Brugii Izabelę (21 lutego 1397 – 17 grudnia 1471), córkę króla Portugalii Jana I Dobrego i Filipy Lancaster, córki Jana z Gandawy, 1. księcia Lancaster. Filip i Izabela mieli razem trzech synów: Antoni (30 września 1430 – 5 lutego 1432), hrabia Charolais Józef (14 kwietnia – 6 maja 1432), hrabia Charolais Karol Zuchwały (10 listopada 1433 – 5 stycznia 1477), książę Burgundii
Filip miał również ok. 26 dzieci ze związków pozamałżeńskich:
Z Katarzyną Schaers: Cornelius von Burgund (zm. 16 czerwca 1452), pan van Baveren, zginął w bitwie pod Rupelmonde, miał dwóch nieślubnych synów z Margarethą Corbaulde
Z Joanną de Presles: Antoine (Wielki Bastard) (1421 – 5 maja 1504), hrabia de La Roche
Z Joanną Chastellaine: Marine de Bourgogne (1426 – 1462), żona Pierre’a de Bauffremont, hrabiego de Charny Dawid Bastard von Burgund (1427 – 16 kwietnia 1496), biskup Utrechtu
Z Catherine Thiefries: Baudouin de Lille Bastard von Burgund (1445 – maj 1508), wicehrabia d'Orbec, pan de Falaise, ożenił się z Marią Manuel de La Cerda, miał dzieci
Z Matildą van Praest: Filip Bastard von Burgund (1466 – 7 kwietnia 1524), biskup Utrechtu, gubernator Geldrii i Kortrijk, Wielki Admirał Flandrii