Tam miał zasłynąć z brutalności jako przewodniczący założonego przez siebie sądu szariackiego i inicjator publicznych egzekucji osób podejrzewanych o wspieranie wojsk amerykańskich.
Al-Baghdadi nauczał w różnych meczetach w Iraku i kierował mniejszymi bojówkami sunnickimi, po czym wszedł do Rady Konsultacyjnej Państwa Islamskiego w Iraku i Lewancie, a następnie w 2010 został jego przywódcą. Utrwalając swoją władzę dopuścił się szeregu zamachów bombowych na cywilów szyickich, jak również zabójstw lokalnych przywódców sunnickich.
Jego znaczenie wzrosło podczas rozmów – zakończonych ostatecznie niepowodzeniem – o połączeniu ISIS i innej powiązanej z Al-Ka’idą organizacji, walczącej w wojnie domowej w Syrii – Dżabhat an-Nusra. Al-Baghdadi odmówił wykonania rozkazów przywódcy Al-Ka’idy Ajmana az-Zawahiriego, który wzywał ISIS do skupienia się na walce w Iraku, podczas gdy Syria byłaby obszarem działania an-Nusry.