Uzależnienie od narkotyków Ostatecznie nałóg narkotykowy pokonał Cheta Bakera i w rezultacie doprowadził do upadku jego obiecującej kariery. Heroina stworzyła wiele problemów – Baker odsiedział ponad rok we włoskim więzieniu, został wydalony z Republiki Federalnej Niemiec oraz Anglii w ramach programu walki z narkotykami. W końcu, za ponowne złamanie prawa na terenie RFN, został deportowany do USA. Zamieszkał w Milpitas w północnej Kalifornii. Pomiędzy krótkimi odsiadkami w więzieniu, które spędzał na pisanie własnych kompozycji, grywał w San Jose i San Francisco.
W 1966 Baker został rzekomo poważnie pobity (rozcięte wargi, wybite przednie zęby), kiedy próbował kupić narkotyki po jednym z występów w San Francisco. Sytuacja zmieniła się po lekkomyślnych oświadczeniach poszkodowanego. Można było z nich wywnioskować, że cała sprawa została sfabrykowana, a okaleczenie ust i zębów było wynikiem zażywania narkotyków. Od tego czasu musiał nauczyć się grać z protezą zębową, co jest bardzo trudne dla trębacza. Pomiędzy 1966 a 1974 Baker grał głównie na flugelhornie i nagrywał banalne piosenki w stylu . Następnie przeniósł się do Nowego Jorku, gdzie na poważnie zaczął nagrywać ze znanymi muzykami jazzowymi takimi jak Jim Hall. W latach 70.