Inżynier Eugène Flachat wybudował nowy dworzec w miejscu obecnego według projektu Alfreda Armanda. Prace trwały w latach 1842–1853. W roku 1867 dworzec był już najbardziej uczęszczanym w Paryżu, w 25 mln pasażerów w ciągu roku. Z tego powodu rozbudowano go znacznie, tak że właściwie można mówić o konstrukcji czwartego z kolei budynku. Rozbudowany dworzec miał swoją inaugurację 2 czerwca z okazji wystawy światowej. Otwarcia dokonał Napoleon III, cesarz Francuzów w towarzystwie Franciszka Józefa I, cesarza Austrii i Aleksandra II, cara Rosji.
W latach 1885–1889 architekt Juste Lisch prowadził prace przy kolejnej rozbudowie dworca na zlecenie Kompanii Kolei Zachodnich (fr. Compagnie des chemins de fer de l’Ouest). Po ukończeniu prac dworzec przyjął obecny kształt. W tamtych czasach zbudowano również naprzeciw dworca hotel Terminus, połączony z nim zadaszonym przejściem.
W roku 1972 linia A kolei RER została przekazana w gestię RATP, co wiązał się z przetrasowaniem jej na nowy dworzec Gare Auber. W ten sposób z dworca Saint-Lazare przestały odjeżdżać pociągi linii, dla której wybudowano go 135 lat wcześniej.
Francuska kolej państwowa SNCF uruchomiła plan renowacji dworca Demain Saint-Lazare (pol. Jutro Saint-Lazare) w ramach programu Gares en mouvement (pol. Dworce w ruchu).