W latach 1950–1952 kontynuował współpracę z Davisem oraz był członkiem Metronome All-Stars i sidemanem Oscara Pettiforda. Z tego okresu pochodzą również pierwsze nagrania Johnsona jako lidera. W studio wspierali go między innymi Bud Powell i debiutujący wówczas Sonny Rollins.
W 1952 przerwał na dwa lata karierę, by zacząć regularną pracę zarobkową. Jednak w 1954 postanowił połączyć siły z duńskim puzonistą Kaiem Windingiem w ramach duetu Jay & Kai. Duet intensywnie koncertował, lecz Johnson z czasem postanowił poświęcić się pisaniu muzyki autorskiej i wydawał liczne albumy solowe. Następnie zaczął pisać utwory dla telewizji i przeprowadził się do Hollywood. Mimo wszystko nadal grał jazz i w 1961 razem z przyjacielem Andre Previnem, muzykiem klasycznym nagrał płytę zadedykowaną Kurtowi Weillowi Andre Previn and J.J. Johnson Play Mack the Knife and Bilbao Song. W tym okresie Johnson prowadził również kwintet, w którym występował, między innymi Bobby Jaspar.
W latach 1961-1962 wrócił do współpracy z Milesem Davisem. Wciąż ciesząc się uznaniem wygrywał plebiscyty magazynu Downbeat. Jednak przez lata nie koncertował. Pierwszą od dawna trasę koncertową zagrał w 1977. W latach 80. założył kwartet, w którego skład wszedł Ralph Moore.