Unia jednak nie zdobyła poparcia ani na Zachodzie, ani na Wschodzie, więc nowy papież Marcin IV zerwał ją i w latach 1281 i 1282 potępił Michała VIII. Porozumienie między Kościołami przetrwało tylko 7 lat i to tylko formalnie, jednak było swego rodzaju przykładem ekumenizmu. Unia naraziła Michała na utratę popularności wśród kleru i mnichów. Doprowadziła do konfliktu z patriarchą Józefem, który przecież uprzednio zdjął z niego klątwę patriarchy Arseniusza. Przeciwko Michałowi wystąpili nawet członkowie jego rodziny, z siostrą Ireną (Eulogią) na czele. Michał znowu został obłożony klątwą przez Kościół grecki. Chcąc utrzymać unię, usunął z tronu patriarszego patriarchę Józefa I Galezjotesa oraz powołał Jana Bekkosa – wtedy przeciwnicy unii przyjęli miano „arsenitów” (od poprzedniego patriarchy Arseniusza).

Koniec rządów Zwycięstwo nad Karolem I Andegawenem mały|256x256px|Nieszpory Sycylijskie, Francesco Hayez (1846). Trudności w rządach pogłębiały się tym bardziej, że Karol I szykował kolejną wyprawę, a Michał nie mógł liczyć na liczne wystąpienie po swojej stronie własnych poddanych. W lipcu 1281 w Orvieto Karol pod patronatem papiestwa zawarł koalicję z łacinnikami, Serbami, Bułgarami, Wenecją.