Kazimierz otrzymał prawa miejskie przed 1288 r., bowiem zachował się dokument z tego roku, w którym książę Władysław Łokietek 28 maja dokonuje zamiany Kazimierza na rzecz cystersów w Wąchocku. Miasteczko nie osiągnęło większego znaczenia pomimo położenia na trakcie handlowym z Torunia do Krakowa i istnienia tu komory celnej, a także nadaniu mu rangi grodu kasztelańskiego, którą to funkcję w 1438 r. przeniesiono do Inowłódz. W 1432 r. cystersi dokonali zamiany Kazimierza na rzecz kanoników regularnych w Trzemeszno.
Od połowy XVIII wieku następuje upadek Kazimierza, do czego walnie przyczyniło się dobre prosperowanie pobliskiego Lutomierska, a także liczne epidemie, zniszczenia wojenne i pożary. Brak perspektyw rozwojowych spowodował odebranie Kazimierzowi praw miejskich w 1870 r. Układ przestrzenny Kazimierza zachował jednak typowe cechy miejskie: rynek i uliczki wytyczone w okresie lokacji uległy przekształceniu tylko w niewielkim stopniu.
W 1939 r., po przegranej bitwie nad Wartą, 31 Pułk Strzelców Kaniowskich zajął kolejną linię obronną wzdłuż Neru. Poległych żołnierzy polskich pochowano na miejscowym cmentarzu.