W lipcu 2002 wraz z kilkoma innymi członkami opuścił Ruch na rzecz Demokratycznej Słowacji. Było to efektem trwającego już konfliktu z Vladimírem Mečiarem i wykreślenia Ivana Gašparoviča z listy kandydatów w kolejnych wyborach parlamentarnych. 12 lipca wraz ze swoimi zwolennikami założył Ruch dla Demokracji, nową opozycyjną partię, której został liderem. We wrześniu tegoż roku jego ugrupowanie otrzymało w wyborach 3,3% głosów, nie przekraczając wyborczego progu. Ivan Gašparovič powrócił wówczas do działalności naukowej na Wydziale Prawa Uniwersytetu Komeńskiego.
W 2004 wystartował w wyborach prezydenckich. Początkowo poparły go własne ugrupowanie i Unia Ludowa, a w sondażach plasował się na niższych miejscach. Do głosowania na niego wezwał w trakcie kampanii wyborczej Robert Fico, lider zyskującej popularność opozycyjnej partii SMER. W pierwszej turze głosowania z 3 kwietnia Ivan Gašparovič otrzymał 22,3% głosów, nieznacznie pokonując Eduarda Kukana. Przeszedł do drugiej tury z Vladimírem Mečiarem, którego poparło 32,7% głosujących. W głosowaniu z 17 kwietnia Ivan Gašparovič pokonał byłego premiera, otrzymując 59,9% głosów. Urząd prezydenta objął 15 kwietnia 2004.