Położenie Sorø, pośród kompleksów leśnych i jezior, z dala od głównych szlaków handlowych, hamowało rozwój miasteczka. W latach 1658–1660 okupacyjne wojska szwedzkie zadały znaczne szkody lokalnej akademii, mniejsze miasteczku. Sorø spłonęło w 1693. W XVIII w. w Sorø stacjonował garnizon wojskowy. W 1799 Sorø zostało siedzibą prowincji Sorø Amt. Miasteczko znalazło się pod okupacją angielską w 1807, a rok później stacjonowały tutaj oddziały hiszpańskie. W tym czasie liczba mieszkańców wynosiła zaledwie 600 osób. W XIX w. miasto otrzymało połączenie kolejowe z Kopenhagą poprzez stację kolejową, którą wybudowano w sąsiedniej miejscowości, Frederiksberg, która graniczy od południa z Sorø. Budowa linii kolejowej (1856) oraz wcześniejsza (1808) budowa drogi w kierunku wschodnim, doprowadziły do przełamania wielowiekowej izolacji osady i wzrostu liczby mieszkańców. W 1850 było ich już 950. Po usunięciu dawnych bram i innych budowli ograniczających rozbudowę, doszło w II połowie XIX w. do powiększenia miasteczka. Od 1840 datuje się rozwój drobnej wytwórczości (fabryki, rzeźnia). W połowie XX w. Sorø wraz z przyległym Frederiksbergiem liczyło ok. 7000 mieszkańców.