Zachowane pisemne wzmianki o Rowokole jako celu pielgrzymek pochodzą z XV wieku. Kaplica na Rowokole jest w nim wymieniana wraz z sanktuarium maryjnym na Górze Chełmskiej koło Koszalina, a także z innym pomorskim miejscem kultu – Świętą Górą koło Polanowa. Pierwsza z tych wzmianek, z 1435 roku, wspomina o pielgrzymce w pokucie za popełniony mord do właśnie tych trzech miejsc („to Cussolin, Polnov unde Revekol”). O popularności i znaczeniu rowokolskiego sanktuarium świadczy też zapis z 1710 roku, w którym Sprögel, prepozyt ze Słupska odnotowuje, że sanktuarium było celem licznych pielgrzymek, „niektórych nawet bezpośrednio z Rzymu” oraz zachowane powiedzenie Kaszubów bytowskich „masz gębę otwartą jak drzwi do kaplicy na Rowokole”.
Koniec istnienia sanktuarium na Rowokole przyniosła reformacja. Po niepokojach religijnych w Słupsku w 1525 roku wnętrze kaplicy zaczęło być okradane i niszczone. Rodzina von Tessen, ówcześni właściciele Smołdzina, zamknęła kaplicę i zajęła srebra kościelne o wartości 300 guldenów. Gdy w 1581 roku, po ostatecznym zapanowaniu w tej części Pomorza protestantyzmu, Swantes von Tessen zbudował w Smołdzinie nowy kościół, kaplica na Rowokole zaczęła popadać w ruinę.