Zakon karmelitański jest jednym z nielicznych, o ile nie jedynym, zakonem, który nie powołuje się na charyzmatycznego założyciela z czasów nowożytnych czy średniowiecznych, lecz na proroka ze Starego Testamentu: to Eliasz i jego uczeń Elizeusz są uważani przez karmelitów za duchowych ojców i pierwszych założycieli.
Życie eremickie na Górze Karmel mały|lewo|upright=1.4|Pustelnicy karmelitańscy czerpiący wodę ze Źródła Eliasza na Górze Karmel (obraz Pietro Lorenzettiego, XIV w.). Zanim pojawili się na niej karmelici, w VI wieku w dolinie kilka kilometrów na południe od obecnego klasztoru bizantyjscy mnisi zbudowali monaster dedykowany św. Eliaszowi. Został on zniszczony w 614 roku przez Persów pod wodzą Chosrowa II. Około 1150 roku grecki mnich z Kalabrii założył kilkunastoosobową wspólnotę w ruinach owego dawnego bizantyjskiego klasztoru.
Tradycja samotnego obcowania z Bogiem na górze Karmel, wzorowana na postaci proroka Eliasza, istniała tam od bardzo dawna. Z początku brak było informacji co do losów ludzi, którzy zdecydowali się na pustelniczy styl życia. Dopiero Jacques de Vitry, biskup Akki w latach 1216–1228, opisuje rozkwit Kościoła łacińskiego w wyniku zdobycia Palestyny następująco: