Na wieść o atakach łacinników, obaj władcy muzułmańscy z Al-Dżaziry, walczący o schedę po Kurbudze, artukidzki książę Sukman Ibn Artuk z Mardinu i Dżikirmisz, nowy atabeg Mosulu, zawarli pokój i sprzymierzyli się przeciwko chrześcijanom. Postanowili połączyć swoje siły i wspólnie uderzyć na Edessę. Wyruszyli na początku marca 1104 roku. Sukman prowadził armię złożoną z Turkmenów, natomiast Dżikirmisz zebrał oddziały seldżuckie, a także arabskie i kurdyjskie. Kiedy usłyszał o tym Baldwin hrabia Edessy, wezwał na pomoc Boemunda i Joscelina. Lecz zamiast przygotować Edessę do obrony, zaproponował im, by zaskoczyli Turków wspólnie przeprowadzając generalną ofensywę przeciwko Harranowi. Zaakceptowawszy ten plan, łacinnicy postanowili połączyć swoje siły w okolicy tego miasta.
Przed bitwą Baldwin pozostawił w Edessie niewielki garnizon i wyruszył na Harran prowadząc hufiec konnych rycerzy i kontyngent piechoty ormiańskiej. Towarzyszył mu arcybiskup Edessy, Benedykt. W okolicy Harranu dołączył do niego Boemund z wojskami antiocheńskimi, Joscelin i Tankred – obaj ze swoimi oddziałami, a także patriarcha Antiochii Bernard z Walencji oraz dawny patriarcha Jerozolimy, Daimbert z Pizy. Armia łacińska liczyła w sumie 3000 konnych rycerzy i około 9000 piechoty.