Jak wielu hiszpańskich Żydów Aben Ezra opuścił swoje rodzinne miasto w wyniku antyżydowskich wystąpień związanych z najazdem Almohadów. Żył w ubóstwie i często podróżował, przynajmniej raz odwiedzając Afrykę Północną, prawdopodobnie także Egipt i Palestynę, być może również rejony położone dalej na wschód. Ostatecznie jednak opuścił Hiszpanię w roku 1140. Większość jego pism powstała właśnie w okresie wędrówek. Znane są imiona jego niektórych przyjaciół, uczniów, opiekunów, korespondentów i rywali z tego okresu; dość dobrze znane są także jego relacje z Judą Halewim – bardzo istotne dla historii średniowiecznej filozofii żydowskiej.
Od momentu opuszczenia Hiszpanii przez trzydzieści lat nieustannie podróżował, odwiedzając początkowo Egipt, Palestynę, a nawet Irak, następnie znaczną część Europy, m.in. Rzym, Londyn, Narbonę, Mantuę, Weronę, Lukkę, Rodez, Rouen i Béziers. Nigdzie nie osiadł na dłużej. Utrzymywał się przeważnie z astrologii. Wspólnoty żydowskie Europy Zachodniej miały utrudniony dostęp do nauki świata muzułmańskiego, a ich znajomość gramatyki hebrajskiej była ograniczona, witały więc Aben Ezrę z entuzjazmem.