W 1446 książę, który wtedy był już bardzo chory i słaby, spróbował pójść na zbliżenie ze Sforzą. Pomimo nalegań żony Franciszek pozostał nieufny wobec teścia i skierował swoje wysiłki raczej na obronę swoich posiadłości zagrożonych przez wojska papieskie, niż na współpracę z Viscontim. W 1447 kondotier poczuł się na tyle pewnie, że przyjął funkcję namiestnika książęcego, ale Visconti jeszcze raz zmienił zdanie co do współpracy z nim. Stało się to na skutek podejrzeń i zazdrości w stosunku do Sforzy. W tym samym czasie papież Mikołaj V zażądał od Franciszka zwrotu Jesi. Dla małżonków nastały trudne czasy, tym bardziej, że wtedy zmarła Costanza, żona Aleksandra Sforzy, która była towarzyszką dla Bianki Marii.
Franciszek Sforza ustąpił papieżowi Jesi za 35 000 florenów i udał się wraz z żoną do Mediolanu. Podróż trwała długo, gdyż po drodze Sforza próbował zawierać i utrwalać sojusze. Ponadto okazało się, że 13 sierpnia 1447 zmarł Filip Maria Visconti. Bianca Maria przyjęła z oburzeniem i smutkiem wiadomości o rabunkach, które miały miejsce w posiadłościach Viscontich w Mediolanie.