Gdy obraz stał się już obiektem miejscowego kultu Szczęsny i Eufrozyna Tyszkiewiczowie herbu Leliwa postanowili zbudować dla niego kaplicę. Tyszkiewiczowie zadbali też o sprowadzenie do swych włości dominikanów. W 1661 roku zbudowali klasztor, a zakonników zobowiązali do sprawowania pieczy nad obrazem i coraz liczniej garnącymi się doń pielgrzymami. Wizerunek Matki Boskiej został poświęcony w uroczystość Ofiarowania Najświętszej Maryi Panny, dokładnie w czwartą rocznicę pierwszego z wydarzeń, 21 listopada 1662 r. Aktu tego dokonał kanclerz kurii biskupiej wileńskiej, ks. Kazimierz Jan Wojsznarowicz. W tym czasie, czyli między rokiem 1658 a 1662, nastąpiła zmiana nazwy miejscowości, którą odtąd zaczęto określać mianem Różanegostoku.
Budowa kościoła Kult obrazu Matki Boskiej Różanostockiej zatwierdził oficjalnie w 1668 roku bp wileński Aleksander Kazimierz Sapieha i kwitł do tego stopnia, że w 1759 roku dominikanie rozpoczęli budowę nowego, murowanego kościoła wzorowanego na jezuickiej świątyni w Grodnie. W 1785 roku kościół konsekrował sufragan wileński, bp Tomasz Ignacy Zienkowicz, chociaż świątynia nie była jeszcze wykończona, brakowało kopuły i wież. Budowę wkrótce ukończono, ukończono też w 1794 r.