Matka Filipa pochodziła ze starego szlacheckiego rodu Cambout, który wywodził się z pierwszych książąt Bretanii.
Najstarszy brat kawalera Lotaryńskiego Ludwik, hrabia Armagnac był mężem Katarzyny de Neufville, najmłodszej córki Nicolasa de Neufville de Villeroy, wychowawcy młodego Ludwika XIV, i siostry Franciszka de Neufville de Villeroy, który był wychowawcą Ludwika XV i podobnie jak ojciec Marszałkiem Francji.
Filip Lotaryński jeszcze jako pięciolatek został opatem Saint-Pierre w diecezji Chartres.
Filip miał być tak piękny jak anioł - pochlebna opinia o jego wyglądzie zewnętrznym ma odbicie w ówczesnych pamiętnikach i diariuszach dworskich. Miał on zostać kochankiem Monsieur w 1658 roku, kiedy to mieszkał w Palais-Royal na dworze przebywających tam na dobrowolnym wygnaniu księżniczki angielskiej Henrietty Anny i jej matki, królowej Henrietty Marii. Znajdowały się we Francji z powodu wojny domowej, której ofiarą był ich mąż i ojciec Karol ścięty 30 stycznia 1649.