W 1402 r. zmarł Gian Galeazzo, który kilka lat wcześniej, w 1395 r. uzyskał tytuł księcia Mediolanu. Tytuł ten i władza nad rozległymi posiadłościami przypadły pierworodnemu synowi, w którego imieniu miała rządzić matka jako regentka. Filip Maria został natomiast wysłany do Pawii, która zgodnie z testamentem ojca przypadła mu w udziale. Władza Giovanniego Marii charakteryzowała się niepokojami i rozgrywkami między różnymi frakcjami, które chciały mieć wpływ na władzę. Jeden z przywódców, Facino Cane, wyszedł zwycięsko z tej walki i wpłynął na młodego księcia, aby ten uwięził matkę, co też się wkrótce stało. Została uwięziona w zamku w Monzy i wkrótce zmarła, prawdopodobnie otruta. Jej losem interesował się tylko Filippo Maria, choć nic nie mógł zrobić, zamknięty praktycznie w murach Pawii. Przyglądał się bezsilnie rozkładowi państwa, który się dokonywał za sprawą rządów jego brata. Ten był coraz bardziej skłócony z arystokracją i ludem Mediolanu. Giovanni Maria nie przejmował się zbytnio bratem. Nie uważał go nawet za zagrożenie dla swoich rządów na skutek opinii o jego słabym zdrowiu. Co więcej, w 1410 r. Facino Cane zajął Pavię, a więc Filippo Maria przestał się w ogóle liczyć.