W 1095 roku Al-Ghazali porzucił swe stanowisko oraz majątek. Został wędrownym sufim. Przez dziesięć lat samotnie odbywał pielgrzymki i medytował. Później został przekonany przez syna wezyra Nizama al-Mulka do powrotu do Bagdadu, by zwalczać wykładami tamtejszych arystotelików, opuścił ją jednak wkrótce by zostać pustelnikiem w rodzinnej miejscowości Tus. Spędził tam koniec swojego życia, zakładając klasztor, w którym nauczano sufizmu. Umarł w roku 1111.
Poglądy filozoficzne Al-Ghazali Już w młodości zetknął się z sufizmem, któremu pozostał wierny do końca życia. Z sufickiej mistyki i ascezy przejął silną niechęć do reprezentowanego przez arystotelizm racjonalizmu logicznego i braku zaufania do wiary i prawd objawionych. Jednocześnie w swojej krytyce filozofii i logiki nie stronił od metod logicznych i filozoficznych, w czym przypomina filozofię mistyczną Bernarda z Clairvaux i jego spór z Abelardem i dialektyką.