3 grudnia 2004 wybrany premierem rządu Kosowa. Oskarżany przez Międzynarodowy Trybunał Karny dla byłej Jugosławii o popełnienie zbrodni wojennych Haradinaj w marcu 2005 roku zrezygnował z urzędu premiera. 26 lutego 2007 r. wyjechał do Hagi, gdzie 5 marca rozpoczął się proces. Był oskarżany o udział w zabójstwie 39 osób we wrześniu 1998 r. w rejonie Glodjane. Po kilku miesiącach pobytu w więzieniu został z niego zwolniony do czasu ponownego podjęcia jego sprawy przez Trybunał. 3 kwietnia 2008 r. został oczyszczony z zarzutów i uwolniony. Kilku świadków powołanych przez prokuraturę (w tym gen. Božidar Delić, działacz Serbskiej Partii Radykalnej) odmówiło składania zeznań przed TrybunałemSRS official helped Haradinaj acquittal, B92, 7 V 2008.. W 2010 Trybunał zdecydował się wznowić proces Haradinaja. 21 lipca 2010 został on aresztowany i przewieziony do Hagi. W czasie trwania procesu 19 potencjalnych świadków oskarżenia straciło życie w niejasnych okolicznościachKronzeugen leben gefährlich, Der Standard 29 listopada 2012.. 29 listopada 2012 Haradinaj został ponownie uniewinniony z powodu braku dowodów na popełnienie przypisywanych mu czynów. Pomimo uniewinnień władze Serbii podtrzymywały zarzuty wobec Haradinaja. W styczniu 2017 r.