Piotr Komorowski, hrabia orawski i liptowski oraz wcześniejszy władca zamków na Orawie, został w roku 1474 pozbawiony swoich posiadłości przez króla Węgier Macieja Korwina za forsowanie królewicza polskiego Kazimierza na tron węgierski. Król polski Kazimierz Jagiellończyk wynagrodził mu tę stratę przyznaniem dóbr na Podbeskidziu, między innymi zamku Wołek. Z tego samego 1474 roku pochodzi ostatnia pisana wzmianka o zamku. Komorowski wszedł w tajne układy z królem Węgier, a możliwość wejścia posiadanych przez niego terenów we wpływy węgierskie stała się zagrożeniem dla Polski. Piotr Komorowski zmarł w 1476, a jego własność przeszła we władanie jego brata Mikołaja. Ten odmówił królowi Polski, oferującemu mu chęć kupna zamków. Kazimierz Jagiellończyk wysłał w 1477 wojsko pod dowództwem wojewody sandomierskiego Jakuba Dębińskiego, które po siedmiotygodniowym oblężeniu zdobyło zamki Komorowskiego. Król rozkazał spalić i zburzyć zamki w Żywcu i Barwałdzie. Zamek na Wołku został prawdopodobnie zburzony lub poważnie uszkodzony w czasie tej