23 lipca 1855 potężna burza zawaliła południowo-wschodnie naroże budowli z fragmentem sklepienia.
W takim mniej więcej stanie narysował schron 2 sierpnia 1860 r. przebywający wówczas na Babiej Górze Walery Eljasz. Rysunek pojawił się znacznie później w „Pamiętniku Towarzystwa Tatrzańskiego” z 1905 r., a pozbawiony podpisu stał się z czasem tematem spekulacji, czy aby przedstawiona na nim budowla nie była jedynie wymysłem wyobraźni malarza.
Tym nie mniej fragmenty ścian budowli przetrwały do początku XX wieku, a ich resztki stały jeszcze po 1920. Wspominał je jeszcze np. Mieczysław Orłowicz w swym opracowanym tuż przed I wojną światową „Ilustrowanym przewodniku po Galicyi, Bukowinie, Spiszu, Orawie i Śląsku Cieszyńskim”, jednak ich pochodzenia już nie znał: Na szczycie ruina kamiennej budowli, zapewne kaplicy, chociaż legenda nazywa ją „Dyabelskim Zamkiem”. W latach 30. XX wieku wiedza o obiekcie zanikła zupełnie. Pamięci historycznej przywrócił go dopiero Juliusz Zborowski w 1936 r. w „Wierchach”, ale i on nie potrafił jeszcze powiedzieć, w którym roku schron zbudowano. Dokładną lokalizację budowli ustalono dopiero w 1977.