Od 4 maja 2006 do 31 marca 2009 roku w rządzie Ehuda Olmerta minister przemysłu, handlu i zatrudnienia. Po wyborach w 2009 roku, w wyniku których lider Likudu Binjamin Netanjahu utworzył koalicję rządową, Jiszaj wszedł 31 marca 2009 roku w skład gabinetu jako wicepremier i minister spraw wewnętrznych.
Znalazł się „pod ostrzałem” prasy, kiedy w lutym 2006 roku powiedział, iż „homoseksualizm to oczywista choroba” i życzył gejom i lesbijkom „szybkiego powrotu do zdrowia”. Jiszaj powiązany był blisko z ortodoksyjną organizacją Jad le-Achim, która zajmuje się przeciwdziałaniem chrześcijańskich misjonarzy w Izraelu i przeprowadza akcje odbicia Żydówek porwanych przez Arabów. Dodatkowo sprzyjał inicjatywom blokującym możliwość zawierania związków małżeńskich między Żydami i nie-Żydami.
15 grudnia 2014 roku Jiszaj ogłosił swoje odejście z Szasu i utworzenie nowej partii. Było to głośne wydarzenie, ponieważ przewodził on sefardyjskiej partii dłużej niż Arje Deri. Za jego rządów ugrupowanie przyjęło „jastrzębią” postawę wobec konfliktu izraelsko-palestyńskiego, przeciwne było jakimkolwiek rozmowo pokojowym. Przyczyną odejścia były prywatne animozje z Derim oraz odsunięcie Jiszaja od przywództwa w Szasie przez Radę Mędrców Tory.