W latach 1382-1398 jako właściciel w mieście odnotowany został kasztelan nakielski, a później gnieźnieński oraz wojewoda poznański w latach 1393-1405 Sędziwój Szamotulski herbu Nałęcz. Wspomniany on został w kilku XIV wiecznych dokumentach sądowych. W 1390 toczył on spór z kasztelanem starogrodzkim Mikołajem z Bytynia dziedzicem Bytynia, z którymi procesowali się również mieszczanie oraz kmiecie kaźmierscy.
Po Sędziwoju majątek odziedziczył jego syn kasztelan poznański Dobrogost Szamotulski. W 1445 sprzedał on z zastrzeżeniem prawa odkupu swoim wnukom Janowi starszemu oraz Janowi młodszemu, a także ich siostrom przyrodnim Elżbiecie i Beacie córkom Zofii Świdwy, miasto Kaźmierz wraz z młynem, z przedmieściem zwanym Nowa Wieś oraz z wsiami: Gorszewice, Komorowo, Sarniewo i Boguszyce wraz z prawem korzystania na własne potrzeby z lasu w Boguszycach w zamian za ich dobra macierzyste, czyli połowę miasta Miłosław z należącymi do niego wsiami.
W 2. połowie XVI wieku miasto przechodziło w ręce rodu Górków, Niegodewskich, a jeszcze w 1793 r. Kaźmierz był miastem i należał do rodzin Moszczenickich i Niegolewskich. Prawa miejskie stracił na początku XIX wieku.
W latach 1954–1972 wieś należała i była siedzibą władz gromady Kaźmierz.