Historia i zabytki Miejscowość znana jest przede wszystkim z dawnego klasztoru kartuzów i kamedułów – Czerwonego Klasztoru. Został on ufundowany przez węgierskiego magnata Kokosza Berzewiczego w 1319 r. Fundacja ta była częścią kary, jaką miał ponieść za zabicie Chyderka z rodu Gyorgów (za karę miał ufundować 6 klasztorów oraz zamówić w nich 4 tys. mszy). Znajdujący się na terenie klasztoru gotycki kościół pod wezwaniem św. Antoniego pochodzi z lat 1360–1400, rozbudowywany w latach 1496–1506.
Miejscowość Czerwony Klasztor powstała w 1948 r. z połączenia wsi Niżne Szwaby i Śmierdzonka oraz osady Czerwony Klasztor wraz z najbliższą okolicą.
Kultura We wsi jest używana gwara spiska, zaliczana przez polskich językoznawców jako gwara dialektu małopolskiego języka polskiego, przez słowackich zaś jako gwara przejściowa polsko-słowacka.