W czerwcu 1989 po raz pierwszy został wybrany do Parlamentu Hellenów, z powodzeniem ubiegał się o reelekcję w kolejnych wyborach w listopadzie tegoż roku, a następnie także w 1990, 1993, 1996, 2000, 2004, 2007 i 2009.
W 1997, na zjeździe ówcześnie opozycyjnej partii, został wybrany na przewodniczącego Nowej Demokracji – pomogło mu nazwisko sławnego krewnego i założyciela ND, byłego prezydenta i premiera Konstandinosa Karamanlisa, który w pierwszych latach po obaleniu junty pułkowników w Atenach doprowadził Grecję do demokracji i członkostwa we wspólnotach europejskich. W 2000 Nowa Demokracja pod przywództwem Kostasa Karamanlisa poniosła jednak porażkę w wyborach parlamentarnych.
W marcu 2004 Nowa Demokracja wygrała wybory parlamentarne. 10 marca 2004 Kostas Karamanlis objął stanowisko premiera, stając w pierwszej kolejności przed koniecznością rozwiązania problemów związanych z przygotowaniami do igrzysk olimpijskich w Atenach w tym samym roku. Władzę zachował również po zwołanych przez niego wcześniejszych wyborach parlamentarnych z września 2007, w których jego partia powtórnie odniosła zwycięstwo.