Napotykał jednak na coraz większe trudności w utrzymaniu spoistości państwa, wobec narastających dążeń i ambicji separatystycznych władców poszczególnych hrabstw, na jakie państwo podzielone zostało w 750.
Spektakularne zwycięstwo odniósł Ludwik nad swym bratankiem Bernardem, od roku 810 królem Longobardów, który w roku 817 wypowiedział stryjowi posłuszeństwo. Do Lombardii ruszyła ogromna armia cesarska. Zanim dotarła do Alp, Bernard skapitulował. Przybył do Chalon-sur-Saone i tu poddał się stryjowi. W przeprowadzonym tam procesie został skazany na oślepienie. W roku następnym zmarł.
Cesarz, jako osoba wręcz dewocyjnie pobożna, poczuł się winny śmierci bratanka. W 822 odbył nawet publiczną pokutę w Attigny przed papieżem Paschalisem I i innymi dostojnikami kościelnymi królestwa. Takie zachowanie bardzo osłabiło pozycję cesarza w państwie. Równie niebezpieczne okazało się uwolnienie z klasztornego odosobnienia Adalarda i Wali, kuzynów cesarskich, którzy zostali tam osadzeni za spiskowanie niedługo po rozpoczęciu rządów przez Ludwika.