Pomyślne trwanie państewka trwało półtora wieku. Okres wojen husyckich spustoszył okolicę i sam zamek. W marcu 1428 r. dokonano najazdu: zamek spalono wówczas po raz pierwszy by dokończyć zniszczeń trzy lata później. Ostatnim panem zamku był Hynek Krušina z Lichtenburga, który wykupił z dóbr królewskich zastawioną za długi ziemię kłodzką. Człowiek ten mimo szlacheckiego pochodzenia zajmował się rabunkiem i rozbojem, łupiąc regularnie okolicznych mieszkańców i podróżnych na drogach. Przebrał jednak miarę, gdy w 1442 r. najechał i splądrował klasztor w Henrykowie. Wojska połączonych sił miast księstw śląskich rok później najechały w odwecie Karpień, zdobywając go i niszcząc. Sam Hynek jeszcze do swojej śmierci w 1454 r. dawał się we znaki miejscowej ludności.
Opuszczony, na wpół zrujnowany zamek był do 1513 r. siedliskiem rabusiów, dopóki mieszczanie lądeccy nie przegonili ich stamtąd równając z ziemią zamek ostatecznie. Kamień z ruin przez lata służył miejscowej ludności jako budulec. Od XVII w. stał się atrakcją turystyczną dla kuracjuszy rozwijającego się wówczas kurortu w Lądku-Zdroju. Ruiny zagospodarowano dzięki staraniom Kłodzkiego Towarzystwa Górskiego. W 1885 r. GGV postawiło na dawnym podgrodziu drewnianą wieżę widokową.