Historia Uczelnia powstaje w 1794 pod nazwą „” (nie mylić z École centrale Paris), po tym gdy w 1793 roku zamknięto wszystkie uczelnie we Francji. Swoją dzisiejszą nazwę otrzymuje w 1795 roku.
W 1804 roku, Napoleon Bonaparte nadaje szkole status wojskowy i dewizę, które dotrwały do dziś. Wtedy też uczelnia wprowadza się do budynków niedaleko Panteonu w Paryżu.
Podczas drugiej wojny światowej, uczelnia jest zmuszona do przeprowadzki do Villeurbanne i Lyonu oraz traci swój status wojskowy. Status ten jest jej zwrócony w 1944 roku, a szkoła wraca do dawnych budynków w 1945 roku.
Po wojnie, uczelnia wchodzi w okres intensywnych zmian, zwiększenia liczby studentów jak i jej laboratoriów. W 1961 roku, liczba studentów wzrasta do 400 i zapada decyzja o przeniesieniu uczelni ze względu na brak miejsca na rozwój. W 1970 roku zmienia się częściowo status: Ecole polytechnique staje się uczelnią cywilną pod patronatem ministerstwa obrony. W 1972 uczelnia otwiera podwoje również dla kobiet. W 1976 przenosi się do podparyskiego Palaiseau. Od 1995 roku, uczelnia otwiera się na studentów z zagranicy. W 2008 roku, razem z innymi szkołami wyższymi, między innymi Université Paris-Saclay, bierze udział w inicjatywie mającą rozwinąć pobliskie tereny, aby mogły konkurować z Doliną Krzemową.