Jam sessions zyskały dużą popularność, co skłoniło Granza do zorganizowania koncertu w wynajętej (po części za pożyczone pieniądze) sali miejscowej filharmonii. Koncert pn. „Jazz at the Philharmonic” odbył się w niedzielne popołudnie 2 lipca 1944 [dostęp 2011-05-09] i odniósł nadzwyczajny sukcesAnswers.com – JATP [dostęp 2011-05-09]. Był to początek cyklu imprez JATP, które rychło przekształciły się w wielkie przedsięwzięcie, skupiające największe gwiazdy jazzu i trwające przez kilka dziesięcioleci.
Granz prawie natychmiast zaczął rejestrować koncerty JATP, stając się pionierem nagrywania „live”. Początkowo odpłatnie użyczał nagrań firmom fonograficznym, ale w 1946 sam podjął działalność wydawcy. Założył bowiem wytwórnię płytową Clef Records. W 1953 powołał kolejną – Norgran Records, aby w 1956 połączyć je w słynną i ogromnie zasłużoną dla fonografii jazzowej – Verve. O rynkowej pozycji firmy świadczy fakt, że w 1961 Granz sprzedał ją koncernowi MGM za 2,5 mln USD.