Wjazd do zamku, od północnej równinnej części płaskowyżu, oddzielonej przekopem suchej fosy i wałem prowadził przez wieżę bramną na obszerny dziedziniec. Budynek mieszkalny wznosił się nad urwistym, południowym krańcem wzgórza.
Pałac Cyryl Czarkowski syn Tadeusza przed 1831 zburzył mury obronne z bramą, zasypał przekop od północy i rozpoczął przebudowę zamku na pałac, zlokalizowany między dwiema wieżami południowo-wschodnią i południowo-zachodnią. Zamek wzniesiony był na fundamentach i wykutych w skale piwnicach zamkowych, być może z wykorzystaniem starych murów naziemnych. Jego żona, Maria z domu Golejewska, wobec bezdzietności ich małżeństwa, przekazała majątek wraz z zamkiem adoptowanemu krewnemu, Tadeuszowi Czarkowskiemu (1850–1940), który warunkowo przyjął jej nazwisko panieńskie. Na przełomie 1890/1891 Tadeusz Czarkowski-Golejewski remontował ruiny zamku wysuckiego. Od tego czasu gospodarstwem tamże zajmowała się jego matka, Wiktoria Czarkowska. W maju 1891 zamieszkała tam rodzina Tadeusza, żona Maria (córka Filipa Zaleskiego) oraz synowie Cyryl i Wiktor.