Fez stracił na znaczeniu za panowania dynastii Almorawidów (XI–XII wiek) i Almohadów (XII–XIII wiek), kiedy to stolica marokańskiego państwa mieściła się w Marrakeszu. Dopiero sułtani kolejnej dynastii Marynidów na powrót uczynili z Fezu swoją stolicę i znacznie uświetnili miasto. Fez podupadł jednak po raz kolejny za panowania Sadytów, którzy na stolicę znowu wybrali Marrakesz. Dopiero pierwsi władcy dynastii Alawitów w początkach XVII wieku przywrócili miastu jego dawną rangę – panował tu pierwszy marokański sułtan tej dynastii Maulaj Raszid. Już jednak jego brat i następca Maulaj Isma’il słynął z niechęci do mieszkańców Fezu i nałożył na nich wysokie podatki, a sam przeniósł się ze swoim dworem do pobliskiego Meknesu. Po jego śmierci przywrócono Fezowi wprawdzie rangę stolicy, jednak rozgorzały wtedy trwające aż do drugiej połowy XVIII wieku walki o władzę, a krótkotrwale utrzymujący się na tronie kolejni sułtani inwestowali przede wszystkim w wojny oraz rozbudowę pałacu.