Ich pierwszy koncert odbył się w Samuel Jones Sports Club w Dulwich w południowym Londynie.
Rok później do grupy dołączyli: perkusista John Coghlan oraz klawiszowiec Roy Lynes. W tym czasie The Spectres zaczęli pisać własne utwory, występując w londyńskich pubach, gdzie zyskali reputację awangardy w środowiskach beatowych. W 1965 r. podczas koncertu w Butlin’s Minehead poznali gitarzystę Ricka Parfitta, który wówczas grał w mało znanej grupie The Highlights, używając pseudonimu Rick Harrison. Parfitt i Rossi zostali przyjaciółmi, jednak na razie kontynuowali kariery osobno, planując współpracę w przyszłości.
18 lipca 1966 The Spectres podpisali pięcioletni kontrakt z wytwórnią Piccadilly Records i wydali kilka singli: „I (Who Have Nothing)”, „Hurdy Gurdy Man” oraz „(We Ain’t Got) Nothin’ Yet” (ten ostatni w 1967 r. – był to cover grupy Blues Magoos), nie odnosząc jednak sukcesu komercyjnego.
Umiarkowane powodzenie sprawiło, że w 1967 r. zespół postanowił zmienić styl muzyczny, kierując się w stronę psychodelii. Zmieniono również nazwę na Traffic, a później na Traffic Jam, by uniknąć pomyłek związanych z zespołem Traffic Steve’a Winwooda, założonym w tym samym roku.