Mimo kilku – krótszych lub dłuższych – przymusowych przerw spowodowanych konfliktami z prawem (był uzależniony od heroiny), Pepper kontynuował swoją muzyczną karierę i miał niejeden efektowny comeback. Powracał na scenę, gdyż ani nadużywanie narkotyków ani zatargi z prawem nie miały negatywnego wpływu na poziom jego gry, której artystyczne mistrzostwo prezentował Pepper aż do śmierci. W tym czasie nagrał np. tak znane albumy jak Art Pepper Meets the Rhythm Section, Art Pepper + Eleven – Modern Jazz Classics, Gettin’ Together i Smack Up. Charakterystyczne dla tego okresu nagrania Peppera zostały też zarejestrowane na płytach: The Aladdin Recordings (trzy części), The Early Show, The Late Show, The Complete Surf Ride i The Way It Was!, zawierający sesję nagraną z Warne’em Marshem.
Życie prywatne Przez wiele lat Pepper mieszkał na wzgórzach Echo Park, w Los Angeles. Jako niespełna dwudziestolatek grał krótko w orkiestrach Benny Cartera i Stana Kentona, ale na lata 1944–1946 musiał przerwać występy aby odbyć służbę wojskową. Po wojsku powrócił do zespołu Stana Kentona.