Oprócz Buda Powella, Thelonius Monk i Art Tatum byli głównymi źródłami inspiracji dla młodego McCoya. W wieku 17 lat, grając w lokalnym klubie Red Rooster (Czerwony Kogucik) poznał Johna Coltrane’a. Coltrane pomiędzy koncertami z Milesem Davisem przebywał w Filadelfii. Saksofonista, którego styl był jeszcze w trakcie tworzenia, a którego reputacja rosła, nie miał wtedy swojego własnego zespołu, ale był zaangażowany w kilku składach w okolicach Filadelfii, często z McCoyem w sekcji rytmicznej. Porozumienie pomiędzy nimi było tak oczywiste, że Coltrane już wtedy miał plany zaprosić go do swojego zespołu. „Poznałem Johna w połowie lat 50., gdy grałem w zespole Cala Masseya. Cal był trębaczem i kompozytorem. Ja, Jimmy Garrison oraz Albert „Tootie” Heath byliśmy w zespole i Cal był dobrym przyjacielem Johna. Znałem wczesne nagrania Johna dla wytwórni Prestige, ale wtedy jeszcze nigdy go nie poznałem osobiście. Miałem wtedy jakieś 17 lat. Mieliśmy takie popołudniowe granie z Calem w klubie zwanym Red Rooster w Filadelfii, niedaleko miejsca gdzie mieszkałem. John przyszedł na to granie i miałem okazję go poznać, co było czymś bardzo wzruszającym bo on był kimś kogo podziwiałem”.