W 1843 r. na terenach dworskich powstały zakłady żelazne, w 1844 roku założono szkołę w Rajczy, której patronem został książę Albrecht Fryderyk Habsburg. W latach 1854–1894 właścicielem Rajczy był Teodor Primavesi, który przebudował tutejszy pałac i stworzył wokół niego park ze stawem i unikatowym drzewostanem. W 1884 r. przez Rajczę przeprowadzono linię kolejową łączącą Wiedeń z Krakowem.
W 1894 r. wieś przeszła na własność Lubomirskich, którzy rozbudowali pałac. Na początku XX wieku w Rajczy wytwarzano papier, zajmował się tym Jakubowicz; funkcjonował Zakład Tektury i Papieru Czerpanego. W 1914 roku Rajczę zakupiła rodzina Habsburgów żywieckich. Arcyksiążę Karol Stefan Habsburg w 1916 r. przeznaczył pałac wraz z parkiem dla chorych kombatantów I wojny światowej.
Słownik Geograficzny Królestwa Polskiego i innych krajów słowiańskich z 1888 roku podawał:
„Rajcza al. Raycza, wś, pow. żywiecki w okolicy lesistej i górzystej, przy gościńcu z Żywca do Nowot na Orawie, nad zlewem Słonica, Rycerki i potoku Ujsolskiego, tworzącym rzekę Sołę, płynącą przez obszar Rajczy wąską doliną i górzystą. Dolinę tę zasłania od zachodu góra Zabawa, a od wschodu Sucha Góra. W środku doliny wpada do Soły potok Nickulina.