W VII wieku Bizancjum borykało się z najazdami arabskimi i w tym okresie szczególną wagę przyłożono do rozbudowy zamku i murów miejskich, które uchroniły miasto (nazywane wtedy Kalonoros).
W roku 1204, w konsekwencji IV wyprawy krzyżowej, miasto wraz z zamkiem przeszło pod kontrolę Armenii Małej, a w roku 1221 zostało zdobyte przez Turków Seldżuckich. Sułtan Kajkubad I na bazie istniejącego miasta założył i znacznie rozbudował nowe miasto, które nazwał od swojego imienia – Alaiye (w XX w. po wprowadzeniu nowego alfabetu nazwa została zmieniona na Alanya). Dużych zmian doczekały się wtedy także zamek i mury miejskie, które przybrały formę znaną współcześnie. Częścią fortyfikacji stała się też Czerwona Wieża (jej budowę ukończono w 1226 roku), która jest obecnie symbolem Alanii.
Później, na przestrzeni wieków Alanya kilkakrotnie zmieniała właściciela, ale nie miało to już większego wpływu na kształt zamku i powiązanych z nim fortyfikacji. Gdy w roku 1525 Piri Reis, znany kartograf i korsarz Imperium Osmańskiego, opublikował "Księgę mórz", atlas zawierający około 210 map, na jednej z nich umieścił Alanię.