We wrześniu 1444 r. zmarł Jan Franciszek i Ludwik objął władzę w Mantui. Część terytoriów na zachodzie i północy zgodnie z testamentem ojca przypadła (jako lennikom Ludwika) trzem jego młodszym braciom. Kraj, zniszczony długą wojną, osłabiony podziałem terytorialnym, w początkach władzy nowego markiza znajdował się w trudnej sytuacji. Po porażce Viscontich w 1446 r. Ludwik wstąpił na służbę Florencji. Jednocześnie, pragnąć zapewnić Mantui pokój, zawarł liczne sojusze z jej niewielkimi sąsiadami.
W 1447 zmarł Filip Maria Visconti i w Mediolanie ogłoszono powstanie republiki. Młodszy brat Ludwika, Karol, znalazł się na jej służbie. Zmarł też inny z młodszych braci, co pozwoliło Ludwikowi odzyskać część ojcowizny. W 1449 r. Ludwik ponownie przeszedł na służbę Wenecji, ale już wkrótce podpisał kontrakt z królem Aragonii i Neapolu Alfonsem. Z kolei po przejęciu władzy w Mediolanie przez Franciszka I Sforzę w 1450 r. zawarł układ z nowym księciem mediolańskim. Ten układ okazał się trwalszy od poprzednich. Nie doprowadziła do jego zerwania nawet sprawa młodszego brata Ludwika, Karola, który jako obrońca Republiki Ambrozjańskiej został przez Sforzę uwięziony, a następnie przyłączył się do stronnictwa jemu przeciwnego. W efekcie dwaj bracia walczyli przeciwko sobie w wojnie pomiędzy Wenecją i Mediolanem (Karol zmarł w 1456 r.).