W dokumentach źródłowych nie ma informacji, kto zbudował zamek. Pierwsza wzmianka pochodzi z przywileju Władysława Łokietka z 17 kwietnia 1312 roku, który pozwolił zakonowi klarysek ze Starego Sącza na pobieranie cła „pod zamkiem Ritter” (łac. prope castrum Ritter). Wzmianka o zamku w Rytrze pojawia się również w dyplomie Władysława Łokietka z 1331 roku, który nadał mieszczanom sądeckim las (łac. silvam) „obok zamku Rither” (łac. ultra Rither castrum sitam). W XV wieku zamek w Rytrze stanowił rezydencję starostów sądeckich i został przebudowany.
Zamek już od XIII wieku należał z pewnością do domeny królewskiej. Pozostawał w rękach tenutariuszy: Jakusza z Boturzyna herbu Czewoja, rodu Toporczyków herbu Topór, którzy przyjęli nazwisko Ryterskich; w XVI wieku administratorem został Piotr Kmita. Wkrótce potem zamek popadł w ruinę, o czym świadczy relacja Marcina Bielskiego oraz lustracje z lat 1616–1617. Według lokalnych podań uległ zniszczeniu w 1657 roku w czasie najazdu Jerzego Rakoczego oraz J. Marszałek, Katalog grodzisk i zamczysk w Karpatach, Wydawnictwo Stanisław Kryciński, Warszawa 1993, s. 193..