Po zwycięstwie konserwatystów w 1996 ponownie stanął na czele rządu, tworzonego wspólnie z partią chadeków. Wkrótce zaczął rywalizować o zwiększenie swoich wpływów w Związku Ojczyzny, wykorzystując dość słaby wynik Vytautasa Landsbergisa w wyborach prezydenckich w 1997. Pogłębiające się spory w partii doprowadziły do odwołania w 1998 ministrów do spraw europejskich i spraw wewnętrznych, Laimy Andrikienė i Vidmantasa Žiemelisa, którzy wkrótce powołali własne ugrupowanie.
W 1999 Gediminas Vagnorius wszedł w otwarty konflikt z prezydentem Valdasem Adamkusem, który wyraził wobec niego wotum nieufności w orędziu do narodu. Ostatecznie urzędujący premier podał się do dymisji. Wbrew jego woli Związek Ojczyzny zdecydował się pozostać w koalicji i wystawić nowego kandydata na premiera.
Utrata znaczenia w partii doprowadziła do odejścia z niej Gediminasa Vagnoriusa wraz z grupą działaczy (w tym kilkunastoma posłami i kilkoma byłymi ministrami). W lipcu 2000 były premier zainicjował utworzenie nowej formacji pod nazwą Umiarkowany Związek Konserwatywny.