W 1843 władze miejskie podjęły decyzję o urządzeniu ogrodu w granicach, które wyznaczone zostały podczas projektowania alei Najświętszej Maryi Panny. Jego urządzanie rozpoczęto w 1844 roku. Na teren o powierzchni ponad 11 ha nawieziono ogromne ilości ziemi ogrodniczej, przykrywając kilkumetrową warstwą skaliste podłoże i wyrównując pochyłości terenu. Sam ogród, w którym posadzono około 1400 drzew, został ogrodzony i wytyczono w nim alejki spacerowe. Prace zakończono w 1847 roku. Od tej pory, aż do wybuchu II wojny światowej, o ogród dbał jeden lub dwóch miejskich ogrodników.
thumb|Parki i dzieląca je aleja w 1890 roku thumb|Plan Częstochowy z 1913 roku. Widoczne parki otaczające klasztor oraz układ alejek spacerowych thumb|Pagórkowata rzeźba terenu w Parku 3 maja W 1908 przed planowaną Wielką Wystawą Przemysłowo-Rolniczą, warszawski ogrodnik Franciszek Szanior, dokonał całkowitego przeprojektowania zaniedbanych wówczas terenów parkowych. Większość starego drzewostanu i pozostałych roślin została usunięta. Zachowano tylko niektóre z bardziej okazałych drzew, włączając je do nowej kompozycji. Wybudowano pawilony wystawowe według projektów autorstwa najwybitniejszych polskich architektów okresu modernizmu – Stanisława Witkiewicza, Władysława Jabłońskiego, Edwarda Landaua, Józefa Kona, Czesława Przybylskiego i innych.