W IX wieku ziemie te zajęli Maurowie. W latach 1012–1104 andaluzyjska dynastia Banu Razin ustanowiła tu samodzielny taifat, później podporządkowany kalifatowi Almorawidów. W połowie XII wieku Albarracín należał do dominiów Muhammada ibn Mardāniša, emira Murcji i Walencji, zwanego szeroko pod przydomkiem Króla Wilka (el Rey Lobo, ur. 1124, panował 1147–1172). Mardāniš, zacięty przeciwnik kalifów z dynastii Almohadów, przekazał miasto w latach 60. XI wieku swemu chrześcijańskiemu sprzymierzeńcowi, pochodzącemu z Nawarry Pedro Ruizowi de Azagra. Tak przynajmniej twierdzili członkowie rodu Azagrów, którzy nie wyrzekłszy się chrześcijaństwa, szybko zerwali związki wasalne z muzułmańskim królestwem. Inna wersja wypadków mówi o nadaniu Albarracín Pedro Ruizowi przez króla Nawarry Sancho Mądrego. Założywszy niezależną seniorię u zbiegu granic Aragonu, Kastylii i Walencji, panowie z rodu Azagrów uznawali się jedynie za vasallos de Santa María. Skoligaceni z kastylijskimi i nawarskimi magnatami, Azagrowie zaangażowali się jednak nade wszystko w życie polityczne Korony Aragonu, uzyskując kolejne nadania od tamtejszych władców zabiegających o udział Azagrów w wyprawach przeciw muzułmanom. Za panowania Piotra II Katolickiego Azagrowie stali się panami większości znaczących miast Nowego Aragonu. W 1276 r.