W grupie Sparta zajęła ostatnie miejsce, strzelając zaledwie 2 gole i zdobywając 1 punkt dzięki remisowi z Manchesterem United.
W styczniu 2005 Kováč odszedł z klubu i za 4 miliony euro przeniósł się do Spartaka Moskwa. W nim wywalczył miejsce w podstawowym składzie i stworzył w nim blok obronny wraz z rodakiem Martinem Jiránkiem. W 2005 roku został wicemistrzem Rosji, podobnie jak rok później. W sezonie 2006/2007 wystąpił ze Spartakiem w Lidze Mistrzów, a następnie w rozgrywkach Pucharu UEFA. W pierwszej połowie 2009 roku przebywał na wypożyczeniu w West Ham United, gdzie wystąpił w dziewięciu meczach. W sierpniu tego samego roku definitywnie przeszedł do tego zespołu. W 2011 roku spadł z West Hamem z Premier League.
W 2011 roku Kováč odszedł do FC Basel. Z Basel wywalczył dwa mistrzostwa kraju (2011/2012 i 2012/2013) oraz zdobył Puchar Szwajcarii (2011/2012). W 2013 roku został zawodnikiem Slovana Liberec. W 2014 roku wrócił do Sparty. W 2016 zakończył karierę.