Założenie zakonu mały|prawo|upright=1.3|Męczeństwo Karmelitów (mal. Jerg Ratgeb, ok. 1520) uwieczniło wymuszoną przez muzułmanów ucieczkę z Ziemi Świętej oraz śmierć męczenników pozostałych w klasztorach. Przełom XII i XIII wieku był okresem wielkich przemian społecznych i duchowych, któremu przyświecał nowy ideał bardziej autentycznego i radykalnego naśladowania Jezusa. Był to także okres krucjat. Po zdobyciu Jerozolimy wielu przybyszów z Europy – rycerze, pielgrzymi, pokutnicy – dołączało do mieszkających na Górze Karmel pustelników.
Ważną rolę w tych początkach odegrali św. Bertold z Kalabrii i legat papieski Aymerik de Melefaida. Św. Bertold przybył do Ziemi Świętej wraz z II krucjatą (1147–1149), a po jej zakończeniu schronił się na Górze Karmel. Działalność obu hierarchów miała konkretny cel – z samotnie żyjących pustelników stworzyć wspólnotę (Aymerik ustanowił św. Bertolda pierwszym przeorem). W tym też czasie powstał pierwszy klasztor oraz kaplica poświęcona Maryi.