Era hard bopu Po powrocie i przeprowadzce do Nowego Jorku jesienią 1953, Farmer grał m.in. z takimi muzykami jak Gigi Gryce (1954-1956), Horace Silver (1956-1958) i Gerry Mulligan (1958-1959). Z zespołem Mulligana nagrał m.in. muzykę do filmów I Want to Live i The Subterraneans (1958). W drugiej połowie lat 50. uczestniczył w koncertach i nagraniach m.in. George’a Russella, Colemana Hawkinsa, Theloniousa Monka, Charlesa Mingusa czy Quincy Jonesa. W tym okresie pozostawał w kręgu eksperymentujących muzyków jazzowych takich jak Teddy Charles, Teo Macero czy George Russel, biorąc np. udział w prowadzonych przez Russella warsztatach jazzowych.
W 1959, wraz z kompozytorem i saksofonistą tenorowym Bennym Golsonem założył zespół The Jazztet, który działał do 1962 nagrywając płyty dla wytwórni Argo i Mercury Records. Innymi członkami grupy byli m.in. puzoniści Curtis Fuller i Grachan Moncur III oraz pianista McCoy Tyner.
W latach 1962–1964 Farmer tworzył trio z gitarzystą Jimem Hallem i basistą Steve’em Swallowem. Później, w 1965, razem z perkusistą Pete’em La Rocą i pianistą Steve’em Kuhnem, Farmer i Swallow nagrali album Sing Me Softly of the Blues, wydany przez Atlantic Records.