W roku 1608 fundację Rudzowskich potwierdził papież Paweł V. Po śmierci fundatora Łukasza Rudzowskiego spłonęła pierwotna fundacja klasztorna. 17 czerwca 1617 r. żona fundatora Anna zawarła z karmelitami bydgoskimi nową umowę, na mocy której oddała im połowę dóbr Obory. Jednocześnie zobowiązała ich do odbudowania klasztoru i kościoła w ciągu 10 lat.
Po śmierci fundatorki zakonnicy przystąpili do odnowy kościoła. Rozbudowano i wymieniono drewniane konstrukcje na murowane, natomiast kolejne etapy prac ciągnęły się od roku 1627 aż do końca XVIII wieku. W 1642 roku zakończono budowę murowanej nawy, która została dobudowana do drewnianego kościółka. W latach 90. XVII wieku biskup Ludwik Tolibowski, sufragan płocki, dokonał konsekracji kościoła pod wezwaniem Nawiedzenia Najświętszej Marii Panny. W 1694 roku ukończono nowe, dwuprzęsłowe prezbiterium z cegły, natomiast w 1747 roku przy jego północnej ścianie dobudowano kwadratową zakrystię. W latach 1748–1749 budowę kościoła ukoronowała wzniesiona barokowa, trójkondygnacyjna, czworoboczna wieża o wysokości 45 m, która na trwałe wpisała się w pejzaż okolicy. W 1740 r. zbudowano również kaplicę Opatrzności Bożej fundacji Juliusza Dziewanowskiego.