grał w big-bandach Counta Basiego, Quincy’ego Jonesa oraz Earla Hinesa, do którego wrócił w 1964. W latach 1969–1975 prowadził z przerwami założony przez siebie The JPJ Quartet (Budd Johnson, Bill Pemberton – kontrabas i Oliver Jackson – perkusja).
W czasie kariery bardzo często pracował jako sideman, zarówno na scenie, jak w studiu nagraniowym. W 1950 zagrał solo na saksofonie tenorowym w przeboju wokalistki Ruth Brown Teardrops from My Eyes. Utwór przez jedenaście tygodni zajmował pierwsze miejsce na rhythmandbluesowej liście przebojów tygodnika „Billboard”. Pełnił także funkcję dyrektora muzycznego w wytwórni płytowej Atlantic oraz był właścicielem firmy wydawniczej.
Zajmował się także nauczaniem. W latach 70. i 80. wykładał oraz prowadził warsztaty jazzowe na uczelniach nowojorskich – Queens College i Stony Brook University.
Zmarł na zawał serca. Miał 73 lata.
Małżeństwo i potomkowie Był żonaty z Bernice, z którą miał syna – Alberta juniora. Jego wnuk – Albert, znany jako „Prodigy”, jest raperem i współzałożycielem zespołu Mobb Deep.