W 1956 Atlantic wydał album The Jimmy Giuffre Clarinet, który stał się niemal wizytówką artysty. Razem z nim grali wówczas m.in. Shelly Manne, Shorty Rogers i Jimmy Rowles. W 1956 występował też gościnnie na płycie The Modern Jazz Quartet at Music Inn.
1957−1960: Free jazz Swoje pierwsze trio, Jimmy Giuffre 3, utworzył wraz z gitarzystą Jimem Hallem i kontrabasistą Ralphem Peñą (którego później zastąpił Jim Atlas). Mieli nawet niewielki przebój w 1957, kiedy występ zespołu wykonującego kompozycję Giuffre’ego „The Train and the River” pokazano w telewizji KABC w cyklu audycji The Sound of Jazz (wtedy też Giuffre poznał swoją przyszłą żonę Juanitę). Trio wykonywało muzykę, którą lider nazywał „folkowym jazzem opartym na bluesie”, a zorganizowane wraz z zaprzyjaźnionym klarnecistą Pee Wee Russellem jam session nazwali po prostu Blues.
Kiedy w 1957 Jim Atlas opuścił Jimmy Giuffre Three, lider przyjął do zespołu Boba Brookmayera, grającego na puzonie wentylowym. To nietypowe instrumentarium, trio jazzowe, w składzie którego nie było ani pianisty, ani też basisty czy perkusji, było częściowo inspirowane przez kompozytora Aarona Coplanda.