Kolejnymi właścicielami wsi byli Kadzidłowscy. Piastowali oni różne stanowiska w urzędach w ziemi łęczyckiej i kujawskiej. Jednym z nich był Wojciech Kadzidłowski (1600–1666), pisarz ziemski łęczycki, sekretarz królewski wyznaczony przez Sejm w 1635 do lustracji dóbr królewskich. Został on później regentem kancelarii koronnej w czasach panowania Władysława IV. Ufundował klasztor kamedułów w Bieniszewie na Górze Pięciu Braci Polaków, w lasach koło Kazimierza Biskupiego.
M. R. Witanowski wymieniając wota zrabowane przez Francuzów z kościoła karmelitów w Kłodawie wspomina o jednym, przedstawiającym Zofię Turbowską z Kadzidłowej. Wizerunek miał pochodzić z końca XVII wieku.
W połowie XVIII wieku miała miejsce fala osadnictwa olęderskiego na tych terenach. Miejscem osiedlania jej były zazwyczaj nieużytki, pastwiska i łąki do uprawy, na które nie znajdowano chętnych. Śladem ich pobytu jest kilka cmentarzy ewangelickich, między innymi w pobliskich Osinach, Janowie i Kępinie. W okolice Kadzidłowej osadnicy przybyli po roku 1791. W 1827 – jak podaje Słownik Geograficzny Królestwa Polskiego – w Kadzidłowej było 17 domów oraz 167 mieszkańców. Po ponad pięćdziesięciu latach – 20 domów, w których mieszkało 147 mieszkańców. Ziemi ornej było 628 mórg (ok. 358 ha).