Od tego czasu miasteczko zaczęło podupadać.
Powstanie listopadowe nie odbiło się tu większym echem. Odwrotnie powstanie styczniowe – w okolicach działały liczne oddziały powstańcze, m.in. gen. Antoniego Jeziorańskiego, Leona Czechowskiego czy słynnego Marcina Borelowskiego ps. „Lelewel”. 24 kwietnia 1863 roku pod Józefowem odbyła się bitwa, w której zginął m.in. poeta Mieczysław Romanowski.
W 1864 roku władze rosyjskie za pomoc powstańcom odebrały Józefowowi prawa miejskie.
Od tego czasu osada zaczęła jeszcze szybciej biednieć. Józefów był nawiedzany przez pożary i epidemie – największa z nich, epidemia cholery w latach 50. XIX wieku sprawiła, że zmarło ok. 250 osób. + Liczba Żydów zamieszkujących Józefów Lata Liczbaludności Liczba Żydów 1830 1162 849 (73%) 1840 1364 859 (63%) 1860 917 642 (70%) 1905 1744 1256 (72%) Od 1820 roku do lat 50. XIX wieku w Józefowie działała słynna w całym kraju drukarnia ksiąg hebrajskich, należąca do żydowskiej rodziny Waxów.
Żydzi stanowili bardzo duży odsetek mieszkańców Józefowa. Podobnie jak w okolicznych miastach, trudnili się głównie handlem i rzemiosłem.