Dodatkowo pogłębiał się konflikt pomiędzy Polignakiem a jego teściem – panujący od 1922 książę Ludwik zmuszony został przez Zgromadzenie Narodowe do abdykacji na rzecz zięcia, bo zarzucano mu brak dbałości o interesy państwa. Pod koniec lat 20. księżna Valentinois uciekła z Monako razem ze swoim włoskim kochankiem, zostawiając dzieci pod opieką dziadka. W 1930 w Paryżu ogłoszono separację małżonków, a trzy lata później Ludwik udzielił córce rozwodu. Zgodnie z postanowieniami sądowymi, książę Rainier i księżniczka Antoinette mieli pozostawać pod opieką ojca, a tylko wakacje spędzać z matką. Dodatkowo nałożono na księcia Pierre’a banicję, która obowiązywała na terenie Monako. Hrabia powrócił do Francji.
Ojciec zdecydował, że książę Rainier będzie się uczył w jednej ze znanych brytyjskich szkół, ale chłopiec nie chciał tam przebywać, co doprowadziło do kolejnego konfliktu między Pierre’em a Ludwikiem. Ostatecznie to władca Monako wygrał sprawę sądową i dzieci wróciły do Monte Carlo. W tym czasie księżniczka Antoinette obraziła się na ojca, oskarżając go o egoizm w postępowaniu z bratem. Do kolejne nieporozumienia doszło w 1936, kiedy to książę Pierre uprowadził swoją córkę, domagając się poszanowania wyroku sądu, który to jemu przyznał opiekę nad dziećmi.