W roku 1822 dwór przeszedł na własność żywieckich Habsburgów, którzy władali nim przez ponad 100 lat, do roku 1925, kiedy Karol Stefan Habsburg przekazał dwór wraz z folwarkiem i ogrodem na rzecz Polskiej Akademii Umiejętności. W latach międzywojennych istniał w budynku ośrodek konferencyjny PAU. Po wojnie, którą dwór przetrwał bez większych zniszczeń, umieszczono w nim mieszkańców okolicznych wsi w ramach kwaterunku. Zajmowali go oni do lat siedemdziesiątych. W latach dziewięćdziesiątych prywatna spółka rozpoczęła remont budynku, który został jednak przerwany z braku funduszy. Przez następnych kilkanaście lat dwór pozostawał pusty i niszczał. Dodatkową niedogodnością w opiece nad dworem było położenie administracyjne budynku, gdyż granica województw śląskiego i małopolskiego została wytyczona kilka metrów przed wejściem głównym, co dzieli założenie dworskie na dwie części i utrudnia ochronę konserwatorską.