W 859 Karol został mianowany hrabią Breisgau, alemańskiej marchii na pograniczu południowej Lotaryngii. W 863 zbuntował się najstarszy brat Karola, Karloman. Rok później do buntu przyłączyli się jego młodsi bracia – Ludwik Młodszy i Karol. Ludwik Niemiecki mianował wówczas Karlomana królem Bawarii. W 865 dokonał podziału państwa między synów. Bawaria przypadła Karlomanowi, Saksonia (razem z Frankonią i Turyngią) Ludwikowi, a Alemania (Szwabia i Recja) Karolowi. Lotaryngia została podzielona między dwóch młodszych braci.
Kiedy w 875 zmarł cesarz Ludwik II, który był również królem Włoch, na mocy porozumienia zawartego między zmarłym cesarzem z Ludwikiem Niemieckim, Włochy odziedziczył Karloman Bawarski. Nie pogodził się z tym jednak król Franków Zachodnich Karol II Łysy, który wyprawił się zbrojnie do Italii i koronował się na cesarza. Ludwik wysłał więc na półwysep wojska dowodzone przez Karlomana i Karola, które przy wsparciu wojsk margrabiego Berengara z Friuli, miały opanować włoskie posiadłości zmarłego w 875 cesarza. Wyprawa ta nie odniosła jednak większych sukcesów dopóki w 877 nie zmarł Karol Łysy.