miasteczko było własnością królestwa, dzierżawioną przez Michała Buczackiego z Jazłowca. Za jego czasów powstała pierwsza warownia, której kształt nie jest znany. W końcu XVI wieku Żwaniec przeszedł na własność rodziny Kalinowskich. W pierwszej ćwierci XVII wieku Walenty Kalinowski, generał ziem podolskich wzniósł nowy zamek, który ze względu na bliskość granicy biegnącej Dniestrem i sąsiedztwo wielkiej twierdzy tureckiej w Chocimiu, stał się ważnym ogniwem systemu obronnego ziem Korony, znajdującym się w najdalej wysuniętym na południe łańcuchu zamków. Kolejnym właścicielem zamku był Jan Lanckoroński (zm. 1615 r.), który otrzymał go jako wiano, poślubiając około 1603 r. Barbarę Kalinowską (zm. 1626), siostrę Walentego. Kolejnym właścicielem był jego syn Stanisław Lanckoroński w latach 1620-1630. W 1653 r. był schronieniem wojsk polskich, obleganych przez Kozaków Chmielnickiego. W 1672 r. oddany został bez walki Turkom, przez załogę która przeniosła się do pobliskiego Kamieńca Podolskiego i do 1699 r. pozostawał w rękach tureckich. Po odzyskaniu przez Lanckorońskich, zamek został odbudowany, ale ponownie zniszczył go najazd turecko-tatarski w 1768 r. W tym samym czasie na krótko zamek zajęli konfederaci barscy, wyparci przez wojska rosyjskie. Po 1793 r. Żwaniec znalazł się w zaborze rosyjskim i utracił militarne znaczenie.