Jednym z jego najbardziej pamiętnych meczów jest rewanż 1. rundy Pucharu UEFA 2007/2008. Rywalem Dinama był AFC Ajax, który pierwszy mecz wygrał na boisku rywala 1:0. W rewanżu Mandžukić wywalczył rzut karny wykorzystany przez Luka Modricia. Wynik 1:0 dla Dinama dawał dogrywkę. Mandžukić zdobył w niej 2 gole w 94 i 96 minucie. Ajax odpowiedział 2 bramkami Klaas-Jan Huntelaara. Zwycięstwo 3:2 premiowało Dinamo awansem do fazy grupowej Pucharu UEFA.
Pierwszy sezon w Dinamie zakończył z dorobkiem 10 bramek i 12 asyst w 29 meczach.
16 lipca 2010 podpisał 4-letni kontrakt z VfL Wolfsburg. Kwota transferu wyniosła około 7-8 mln euro.
27 czerwca 2012 podpisał 4-letni kontrakt z Bayernem Monachium. Bawarczycy zapłacili za niego 13 mln euro. W lipcu 2014 roku za 22 mln euro przeszedł do Atlético Madryt. 22 czerwca 2015 podpisał 4-letni kontrakt z Juventusem. Pierwszego gola dla zespołu z Turynu zdobył 29 lipca 2015 roku w Supermeczu rozegranym w Gdańsku przeciwko Lechii Gdańsk. Mecz zakończył się wynikiem 2:1 dla Juventusu.