Zamek na górze Baszta strzegł granic między Polską a Węgrami; jego załoga czuwała nad bezpieczeństwem szlaku handlowego biegnącego wzdłuż Popradu na Węgry. Przez długi czas stanowił rezydencję starostów tzw. państwa muszyńskiego (zwanego także kluczem muszyńskim lub kresem muszyńskim), samodzielnej jednostki administracyjnej z własną administracją, wojskiem i sądownictwem, pozostającej we władaniu biskupów krakowskich do rozbiorów Polski. W XVII wieku, za panowania Jana Kazimierza, zamek w dalszym ciągu pełnił funkcje obronne; został opuszczony w drugiej połowie XVIII wieku i popadł w ruinę.
Korzystając z funduszy unijnych gmina od grudnia 2020 do października 2023 przeprowadziła remont i częściową rekonstrukcję zamku. Nadbudowana wieża sięgnęła 14 metrów, a na jej dachu powstał przeszklony taras widokowy. Wewnątrz znajduje się kawiarnia i sala wystawowa.