W roku 1993 Kazimierz Konowrocki obchodził uroczysty jubileusz 50-lecia kapłaństwa, a w 1995 odszedł na emeryturę z prawem pozostania w parafii i dalszego zamieszkania na plebanii.
Konowrocki pomagał w pracy nowemu proboszczowi, a w wolnym czasie starał się utrwalić na piśmie ważne zdarzenia dotyczące dziejów parafii, a także kościoła, cmentarza grzebalnego, kapłanów i osób zasłużonych dla parafii i miasta. Notatki publikował w miesięczniku parafialnym „Nasz Głos”. Opisał też wiele uroczystości, jakie miały miejsce w parafii.Pożegnaliśmy księdza prałata Kazimierza Konowrockiego
24 grudnia 1992 biskup warszawsko-praski Kazimierz Romaniuk mianował go prałatem Kapituły Kolegiackiej w Radzyminie z funkcją Archidiakona Kapituły. Kazimierz Konowrocki zmarł 6 listopada 2005. Pochowany został na cmentarzu w Kobyłce.
Odznaczenia 28 sierpnia 1987 Jan Paweł II odznaczył go godnością prałata – Kapelana Honorowego Jego Świątobliwości. 15 sierpnia 1995 prezydent Lech Wałęsa za ocalenie Sanktuarium Narodowego w Ossowie odznaczył go Srebrnym Krzyżem Zasługi. 30 lipca 1997 Rada Ochrony Pamięci Walk i Męczeństwa Narodu nadała Złoty Medal Opiekuna Miejsc Pamięci Narodowej za opiekę nad Sanktuarium Narodowym w Ossowie.