Jan Janusz Kościelecki był żarliwym katolikiem, lecz z tolerancją odnosił się do innowierców. Po wydaniu edyktu parczowskiego w 1564 r., wywołującego z Polski wszystkich duchownych innowierców, energicznie go realizował. Na sejmiku przedsejmowym w Środzie doszło nawet do starcia z protestantami, które omal nie przerodziło się w walkę zbrojną.
Kościelecki zmarł w Poznaniu 8 grudnia 1564 r. Został pochowany w rodzinnym Kościelcu, w kaplicy, którą najprawdopodobniej sam dobudował do tamtejszego kościoła. W opinii jezuity Kacpra Niesieckiego, był to „mąż powagi wielkiej, wspaniałości, animuszu, miłością lat ojczyźnie znakomity”.
Starosta bydgoski Dzierżąc z bratem – Andrzejem starostwo bydgoskie troszczył się, nie zapominając o własnym interesie, o sprawy miasta. Starostowie ci doprowadzili do tego, że Zygmunt August cofnął w 1552 r. zakaz budowania murowanego kościoła i klasztoru Bernardynów w pobliżu murów miejskich, wydany uprzednio ze względu na obronność Bydgoszczy (poprzedni kościół drewniany spłonął w 1545 r.) Jako żarliwy katolik wspierał budowę konwentu bydgoskich Bernardynów. Był również dobroczyńcą szpitala św. Stanisława na przedmieściu Kujawskim.