Taka dwuwładza nie mogła trwać zbyt długo i Birger znalazł sojuszników w szwedzkim klerze, który poczuł się zagrożony poczynaniami Torgilsa, chcącego poważnie ograniczyć kościelne przywileje, zwłaszcza te finansowe.
Przeciwko Birgerowi stanęli z kolei jego młodsi bracia, książęta Eryk i Waldemar, w następstwie czego król w 1304 wygnał obu do Norwegii, gdzie wnet otrzymali dla swych roszczeń poparcie tamtejszego władcy Haakona V Długonogiego. Po dwóch latach bracia wrócili z wygnania i zaczęli spiskować przeciwko Thorgilsowi Knutssonowi, który będąc zwolennikiem silnej władzy zwierzchniej mediował między Birgerem a jego braćmi. W efekcie działań królewiczów król Birger oskarżył Thorgilsa o zdradę, następnie doprowadził do skazania go na śmierć i ścięcia (1306). Pozbywszy się groźnego przeciwnika Eryk i Waldemar znów stanęli do otwartego buntu i uwięzili króla podczas Świąt Bożego Narodzenia (tzw. zabawa w Håtuna), który dzięki pomocy swego szwagra króla Danii Eryka VI Menveda, został uwolniony. Po powrocie z niewoli Birger na powrót przejął królewskie obowiązki, ale musiał ulec żądaniom swoich braci, którzy wciąż byli popierani przez króla Norwegii Haakona V.