Przez kolejne dwa lata Otto musiał zmagać się z popieranym przez papiestwo i resztę panów węgierskich pretendentem do korony Karolem Robertem Andegawenem (który z kolei po kądzieli był potomkiem Stefana V). W 1307 Otto został uwięziony przez wojewodę siedmiogrodzkiego, który był stronnikiem Karola Roberta. Ottonowi udało się uciec z niewoli, poprzez Śląsk wrócił do Bawarii, nie zrzekając się praw do korony węgierskiej, jednakże nie przedsięwziął żadnej akcji przeciwko Andegawenowi, któremu w krótkim czasie udało się opanować całe Węgry. Po powrocie do Bawarii Otto wdał się w wojnę z Habsburgami (1309–1311), jednak nie przyniosła mu ona żadnych korzyści.
Otto Bawarski zmarł 9 września 1312 r., do końca życia tytułując się królem Węgier.
Przodkowie
Małżeństwa i potomstwo Pierwszą żoną Ottona była Katarzyna (zm. 4 kwietnia 1282), córka króla Rudolfa I Habsburga. Para pobrała się w styczniu 1279 i miała razem dwóch synów bliźniaków: Henryka (ur. i zm. 1280) Rudolfa (ur. i zm. 1280)