XIX i XX wiek Po czasie prosperity pozostała w mieście architektura, w tym wzniesiony w stylu federalnym dwór zaprojektowany przez Samuela McIntyre'a, którego imieniem nazwano potem największą z historycznych dzielnic. Uzyskawszy prawa miejskie w 1836 roku, Salem przyjęło w 1839 roku pieczęć miejską z motto: „Divitis Indiae usque ad ultimum sinum” -- „Najdalszemu na wschodzie portowi”. Nathaniel Hawthorne był zarządcą portu w latach 1846–1849. Pracował w Customs House nieopodal Pickering Wharf. To właśnie o nim jest mowa na początku powieści The Scarlet Letter. thumb|Mapa Salem - 1820r. Lecz w XX w. żegluga zaczęła podupadać. Salem i jego mulisty port zostało prześcignięte przez Boston i Nowy Jork. W konsekwencji miasto zwróciło się ku przemysłowi. Powstawały zakłady, w tym garbarnie, wytwórnie obuwia i przemysłu odzieżowego, jak Naumkeag Steam Cotton Company. Duża część Milltown uległa zniszczeniu podczas wielkiego pożaru w Salem, w roku 1914, który rozpoczął się w Korn Leather Factory. Spłonęło ponad 400 domów, bez dachu nad głową znalazło się 3500 rodzin. Najcenniejsze architektonicznie budynki Salem ocalały, co pomogło adaptować jego centrum jako centrum turystyczne.