Ludwik II w 1404 udał się na pielgrzymkę do Ziemi Świętej, w czasie której został uwięziony przez Saracenów. Nieszczęsna wieść dotarła do Brzegu dopiero pod koniec roku. Henryk IX w celu odkupienia brata nałożył na mieszkańców Brzegu, a także należących do niego Chojnowa i Oławy dodatkowy podatek. Potrzebna suma 4000 grzywien została zebrana jeszcze w tym samym roku, jednakże Ludwik II wrócił na Śląsk dopiero pod koniec 1405. W czasie niewoli Ludwika, w księstwie brzeskim rządy sprawował jego brat Henryk IX.
Stosunki między braćmi popsuły się w związku z kwestią dziedziczenia księstwa legnickiego. W marcu 1409 książę legnicki i biskup wrocławski Wacław II legnicki zapisał księstwo legnickie i połowę Złotoryi Ludwikowi II. Prawa do drugiej części miasta wraz z okręgiem i 6000 grzywien czynszu z Legnicy przypadły Henrykowi IX. Wacław II zastrzegł, że Złotoryja w całości ma przypaść jednemu z braci – temu, który spłaci drugiego. W tym samym roku Ludwik II zwrócił się do Henryka IX z propozycją odkupienia jego części Złotoryi. W tym momencie książę lubiński, już wcześniej urażony faworyzowaniem przez Wacława II młodszego brata, zerwał przyjazne stosunki z przyrodnim bratem. Wkrótce spór przerodził się w otwartą wojnę, wydaną przez Henryka IX, która toczyła się w latach 1411–1414.