W życie polityczne zaangażował się w 2004, kiedy poparł jednego z kandydatów w wyborach burmistrza Stepanakert.
W 2005 założył własną partię Wolna Ojczyzna (Ազատ Հայրենիք – Azat Hayrenik), zostając jednym z jej czterech współprzewodniczącym. W wyborach w czerwcu 2005 ugrupowanie zajęło drugie miejsce, zdobywając 10 z 33 miejsc w parlamencie Republiki Górskiego Karabachu. W parlamencie Harutiunian został przewodniczącym komisji finansów, budżetu i gospodarki. W 2007 i w 2009 roku wybrany na przewodniczącego partii.
Premier Po rezygnacji z urzędu premiera przez Anuszawana Danijeljana 7 września 2007, prezydent Bako Saakjan przedstawił jego kandydaturę do stanowiska nowego szefa rządu. 14 września 2007 została ona jednogłośnie zatwierdzona przez parlament, a Harutiunian został oficjalnie zaprzysiężony na nowym stanowisku.
W wyborach parlamentarnych w maju 2010 Wolna Ojczyzna zdobyła 14 spośród 33 mandatów w parlamencie. W roku 2012 ponownie wybrany premierem. W 2015 partia zwiększyła liczbę posiadanych mandatów do 15.
25 września 2017 roku na skutek poprawki konstytucyjnej zlikwidowano stanowisko premiera Górskiego Karabachu. Jednocześnie tego samego dnia Harutiunian został powołany na nowo utworzone stanowisko ministra stanu.