Niedługo po tym ich relacje uległy zmianie, gdy król sprzeciwił się zaproponowanemu przez Warwicka małżeństwu z Boną Sabaudzką. Odrzucił propozycję hrabiego jednocześnie informując, że za żonę pojął wdowę po stronniku Lancasterów Janie Greyu, Elżbietę Woodville. Król zaczął faworyzować liczną rodzinę swej żony, co zaostrzyło konflikt pomiędzy nimi. „Twórca królów” pomagając zdobyć koronę Edwardowi liczył, na to że będzie mógł kierować jego działaniami, jednak tak się nie stało. Zwrócił się więc w stronę młodszego brata króla, Jerzego księcia Clarence. W celu mocniejszego zawiązania ich sojuszu w lipcu 1469 roku doprowadził do małżeństwa z jego najstarszą córką Izabelą. Do pierwszych aktów buntu doszło już tego samego roku. Okazał się on jednak niepowodzeniem, a także spotkał się ze sprzeciwem ze strony parlamentu. W obecnej sytuacji hrabia Warwick zmuszony zostaje do opuszczenia Anglii w 1470 roku i postanawia udać się do Francji. Stłamszony obrotem spraw zmienia barwy i dołącza do Małgorzaty Andegaweńskiej, żony Henryka VI. Obiecuje jej zdetronizowanie Edwarda IV i oddanie korony jej mężowi. Chcąc przypieczętować układ, Anna Neville zostaje zaręczona z jej synem Edwardem Westminsterem. Już w 13 grudnia 1470 roku dochodzi do ceremonii zaślubin w Angers, a Annie nadany zostaje tytuł księżnej Walii.