Zamek holszański wybudowano w 1610 na zlecenie Pawła Stefana Sapiehy, wicekanclerza Wielkiego Księstwa Litewskiego. Zamek wznosił się na brzegu rzeki Olszanki. Był dwupiętrowy i w kształcie czworoboku z ośmiościennymi wieżami po bokach. Budynek posiadał system ocieplający, wodociągi i kanalizację. Pokoje gościnne oraz galerie zdobiły freski i bogata sztukateria, podłogi wyłożone były terakotą. Wokół zamku zbudowano 3 sztuczne jeziora, których dno wyłożono kafelkami. W rezydencji Sapiehy mieściła się okazała biblioteka i galeria obrazów.
W ciągu wieków zamek kilkakrotnie przebudowywano. Zaczął też popadać w ruinę. W czasach „potopu szwedzkiego” został ograbiony i zniszczony.
W XIX w. należał do rodziny Wołowiczów, Mosiewiczów i Żabów. W 1880, kolejny właściciel (Gorbaniew) rozebrał wieże i część ścian pod budowę karczmy.
W 1618 Paweł Stefan Sapieha ufundował w miejscowości klasztor franciszkanów z kościołem św. Jana Chrzciciela. Wdowa po nim dobudowała do kościoła rotundę, w której umieściła marmurowy nagrobek męża oraz nagrobki jego trzech poprzednich żon. Nagrobki te pozostawały w świątyni do ok.