Brat Filipa Karol Aleksander z tego samego powodu także opuścił Wirtembergię i w roku 1934 wstąpił do niewiele wcześniej założonego badeńskiego opactwa świętego Bartłomieja w Neuburgu, a następnie w roku 1940 zdecydował się na emigrację do Stanów Zjednoczonych.
Małżeństwa i rodzina W 1923 roku ożenił się z księżniczką Heleną Habsburg (1903-1924), córką arcyksięcia Piotra Ferdynanda Habsburga i Marii Krystyny Burbon. Helena umarła rok później, kilka dni po narodzinach jedynej córki Marii Krystyny (1924), która w 1948 roku wyszła za Jerzego Hartmanna Liechtenstein (1911-1998), młodszego brata księcia Liechtensteinu Franciszka Józefa II. Filip ożenił się ponownie w 1928 roku z siostrą Heleny – Różą Habsburg-Lotaryńską (1906-1983). Para miała sześcioro dzieci: Helena (1929) – żona margrabiego Fryderyka Pallavicini, Ludwik (1930–2019)29 czerwca 1959 roku zrzekł się w imieniu swoim i swych potomków praw do tronu, Elżbieta (1933–2022) – żona księcia Antoniego Burbona, Maria Teresa (1934) – żona Henryka Burbona-Orleańskiego, Karol (1936–2022), Maria Antonina (1937–2004).