kasztelanię żarnowską wraz z dwoma innymi kasztelaniami zapilickimi, które na stałe przeszły do księstwa sandomierskiego.
thumb|lewo|Kazimierz Jagiellończyk ustanawia w mieście Żarnowie jarmark na 15 sierpnia Z 1191 r. pochodzi wzmianka wymieniająca kościół (capella) w Żarnowie, pośród siedmiu świątyń znajdujących się w uposażeniu kolegiaty sandomierskiej. Powstanie kościoła należy być może wiązać z osobą księcia Kazimierza Sprawiedliwego. W XII wieku był więc Żarnów znaczącym ośrodkiem, siedzibą przedstawiciela książęcej administracji, posiadającym własny gród i kościół. W roku 1224 wymieniony jest Falibóg, kasztelan żarnowski. W 1243 na dokumencie Konrada mazowieckiego wystąpił palatinus żarnowski. W latach 1415–1876 miejscowość posiadała prawa miejskie. Mimo upadku znaczenia Żarnowa w XIV w. na korzyść Opoczna, tytuł kasztelana żarnowieckiego przetrwał do końca I Rzeczypospolitej. Podczas potopu szwedzkiego miała miejsce bitwa pod Żarnowem.
W 1869 roku utracił prawa miejskie, była to m.in. kara za udział mieszkańców w powstaniu styczniowym. Od 1876 r. Żarnów pozostawał pod rządami wójta. W czasie I wojny światowej na zachód od Żarnowa przebiegł front bojowy.