Upadek miasta Raciąż zaczął upadać w połowie XVII wieku. Za początek upadku możemy uznać najazd szwedzki w 1655 roku. Właśnie wtedy zburzony został drewniany zamek raciąski, powstały prawdopodobnie w XVI wieku oraz zdewastowany został kościół. Miasto opuściła większa część jego mieszkańców, czemu przyczyniła się też epidemia, która wybuchła w 1661 roku. Następne lata nie były lepsze. Mieszkańcy miasta pozostawieni sami sobie nie potrafili odbudować struktur miejskich, nie uiszczali podatków i nie uprawiali roli. Wielu za to przenosiło się do okolicznych osad wiejskich, rozwinęło się osadnictwo puszczańskie.
Kolejne kroki na drodze do upadku nastąpiły na początku XVIII wieku. Wtedy właśnie rozegrała się wielka wojna północna, której działania w dużej mierze odbywały się na terenach polskich. Raciąż znów znalazł się w rękach Szwedzkich. W okresie tym na Mazowszu pojawiła się zaraza i głód.