Na terenie grodu istniała już wówczas kaplica, wymieniona po raz pierwszy w 1189 jako przekazana przez biskupa Żyrosława II zakonowi joannitów. W 1203 miejscowość została wspomniana w bulli papieża Innocentego III. W 1210 biskup Wawrzyniec przekazał kościół kanonikom regularnym z Kamieńca. Według tradycji już ok. 1200 szerzył się tutaj kult maryjny, związany z cudowną figurką Matki Boskiej, która jest do dzisiaj największym skarbem Barda. Około 1290 Bardo przestało być kasztelanią, od 1299 było osadą targową, po 1300 otrzymało prawa miejskie. W związku z budową przez Bolka II nowego murowanego zamku na Kalwarii (Góra Bardzka) teren grodu w 1301 kupili cystersi z opactwa w Kazimierzu Ząbkowickim i od tego momentu do 1810 byli właścicielami miejscowości.
W 1337 Bardo wraz z księstwem ziębickim stało się lennem czeskim i przyjęło nazwę Warta. Od połowy XIV w. Bardo rozwijało się dzięki swojemu położeniu i coraz częściej przyjeżdżającym tutaj pątnikom. Podczas wojen husyckich miasto spłonęło (1425), zniszczone zostały również dwa kościoły. W 1471 zatrzymał się tu w drodze do Pragi Kazimierz Jagiellończyk.
W XVIII wieku do miasta przybywało ok. 200 tysięcy pątników rocznie.