Istniała zatem realna obawa, że panowie polscy nie zaakceptują na tronie jednej z jego córek. Z tego powodu 17 września 1374 w Koszycach Ludwik wystawił przywilej dla szlachty, w zamian za co otrzymał zapewnienie sukcesji po nim w Polsce którejś z polsko-węgierskich królewien. Pierwszą regencję w Polsce Elżbieta zakończyła w 1375 r. W 1376 roku w Polsce na krótki okres pojawia się Ludwik Węgierski. Przekazał on rządy Małopolanom, którzy jednak nie umieli zapanować nad krajem. Druga regencja Elżbiety rozpoczęła się w 1376 roku. W wyniku zatargu między węgierskim otoczeniem królowej a mieszczanami Krakowa doszło w mieście do rozruchów. W 1378 r. w związku z wydarzeniami, jakie miały miejsce w Krakowie (pogrom Węgrów i wyjazd oburzonej Elżbiety Łokietkówny z kraju) Ludwik zdecydował się odwołać Władysława Opolczyka z Rusi i mianować go na opróżnione stanowisko wielkorządcy Polski. Na stanowisku tym Władysław nie wytrwał zbyt długo na skutek oporu szlachty polskiej niezadowolonej z zaangażowania księcia w sprawę zapewnienia dziedzictwa po Ludwiku jego córkom, oraz obarczanie go współwiną za oderwanie od Polski na rzecz Węgier Rusi Halickiej. Od 1378 roku trzeci raz regentką została matka Ludwika. W 1380 roku zmarła Elżbieta, podpora rządów Ludwika w Polsce.