Próby zawarcia przymierza z królem serbskim zakończyły się natomiast niepowodzeniem.
Jesienią 1299 roku z rąk chana Złotej Ordy Toktaja zginął chan Nogaj. Jego syn Czaka, na czele wiernych sobie oddziałów, wraz z synem Jerzego I Tertera, Teodorem Swetosławem, będącym zakładnikiem tatarskim, zbiegli w granice Bułgarii. Regenci, carowa wdowa i Eltimir nie byli w stanie stawić im oporu. Teodor Swetosław skłonił bojarów tyrnowskich do obrania Czaki carem.
Iwan IV i jego dwór schronili się w dobrach Eltimira, gdzie przebywali nadal po objęciu władzy w 1300 roku przez bratanka Eltimira Teodora Swetosława. W 1305 roku matka Iwana prowadziła w Konstantynopolu rozmowy z rządem bizantyńskim z ramienia syna lub Eltimira. Klęska zadana w tym samym roku Eltimirowi przez Teodora Swetosława położyła im jednak kres.
Iwan IV spędził resztę życia na wygnaniu w Bizancjum jako Jan Komnen Dukas Angelos Branas Paleolog (po dziadkach Konstantynie Angelosie Komnenie Dukasie Paleologu i Irenie Komnenie Laskarinie Branainie). Zmarł jako mnich około 1330 roku.