Pierwsza pisemna wzmianka o wsi pochodzi ze stosunkowo późnego okresu – z 1559 r., kiedy właścicielem zamku był Franciszek Turzo (Thurzó Ferencnek), choć wieś mogła istnieć już w XIII wieku, kiedy powstał zamek. Franciszek Turzo był założycielem folwarków wokół warowni – m.in. w Podzamczu (Podzámok), Dolnej i Górnej Ligocie (Dolná Lehota i Horná Lehota) i Raciborze (Ratibor). Z dwóch pierwszych folwarków powstała dzisiejsza wieś, natomiast Górna Ligota to osobna miejscowość (słowackie słowo lehota, podobnie jak polskie Ligota lub Lgota związane jest z okresem ulg w daninach i opłatach dla nowo zakładanych wsi). Mieszkańcy Podzamcza byli w większości zatrudnieni w zamku jako służba, zamkowi rzemieślnicy itp.
W XVII wieku Zamki Orawskie były gminą – znajdowała się w nich karczma, młyn, tartak, browar, manufaktura sukna, warsztat wyrabiający proch strzelniczy oraz zabudowania gospodarcze zamku. W 1637 r. powstała we wsi samodzielna parafia. Z czasem rozwinęło się pszczelarstwo.