W kwietniu 1964 roku wydał swój własny singel „Baja”.

Mimo wysokich zarobków usługi dla innych muzyków nie dawały Jonesowi satysfakcji. Gdy jego żona przeczytała w piśmie Disc, o Jimmym Page’u i jego nowym projekcie, jakim był The New Yardbirds, John Paul skontaktował się z tym znanym gitarzystą i dołączył do jego zespołu. Formacja ta wkrótce przyjęła nową nazwę Led Zeppelin. W jej składzie znaleźli się jeszcze dwaj muzycy: wokalista Robert Plant i perkusista John Bonham.

Po rozpadzie Led Zeppelin Kiedy Led Zeppelin ostatecznie zakończył swoją działalność w 1980, każdy z członków poszedł we własną stronę. John Paul Jones wrócił do tego, co robił przed 1968, czyli do aranżacji i produkcji płyt innych artystów. Wśród nich znalazły się sławy takie jak: R.E.M., Cinderella, Paul McCartney, The Mission, Peter Gabriel, Ben E. King, czy Diamanda Galás. Czasami pojawiał się także na scenie, przeważnie z muzykami, z którymi współpracował w studio (w 1994 z Diamandą Galás odbył tournée po USA i Wielkiej Brytanii). John Paul stworzył też oprawy dźwiękowe do kilku filmów, między innymi do Krzyku w ciemnościach.