Pomimo odesłania carowej wdowy, Marii wraz z synem Michałem do Konstantynopola, nowej parze carskiej nie udało się pozyskać swych nowych poddanych. Rozproszone dotąd i skłócone wzajemnie bojarstwo zaczęło się jednoczyć wokół bojara kumańskiego pochodzenia Jerzego Tertera. Iwan Asen III próbował przeciągnąć go na swą stronę wydając za niego, za namową Michała VIII, swoją siostrę Kermarię. Nie przyniosło to jednak spodziewanych rezultatów. W dodatku wiosną 1280 roku Iwajło przeszedł do ofensywy, wyzwalając znaczną część kraju. Zagroził nawet Iwanowi Asenowi III oblegając go w Tyrnowie. Latem 1280 roku dwukrotnie rozgromił armię bizantyńską. Po tych klęskach Iwan Asen III zbiegł wraz z małżonką z Tyrnowa rezygnując z władzy carskiej.

Michał VIII początkowo nie chciał przyjąć zięcia. Iwan Asen III udał się do obozu wodza Złotej Ordy Nogaja, gdzie tylko dzięki pomocy szwagierki, siostry Ireny, Eufrozyny, uniknął śmierci. Ostatecznie po śmierci Iwajły z rąk Nogaja cesarz pogodził się z zięciem i ofiarował mu stanowisko na dworze cesarskim.