W wieku 15 lat musiał opuścić szkołę po tym, jak zachorował ojciec, a żeby wspomóc rodzinę, podjął pracę na farmie jako kierowca ciężarówki i mleczarz. Jako fan piłki nożnej próbował rozpocząć karierę w miejscowym klubie Accrington Stanley FC, ale z powodu słabych warunków fizycznych nie został przyjęty, za to przez rok był maskotką zespołu.
Został muzykiem, idąc w ślady brata, Tony’ego, który prowadził lokalną grupę Warriors. Po tym, jak jeden z wokalistów wspierających opuścił grupę, John zajął jego miejsce. Grupa wykonywała głównie covery, występując przez rok w klubach w Lancashire, a także w Niemczech. Wokal Andersona można usłyszeć na pierwszych dwóch nagranych piosenkach zespołu, „You Came Along” (1964) i „Don’t Make Me Blue” (1965). Po rozpadzie zespołu został w Niemczech, dołączając do grupy Party.
W marcu 1968 wrócił do Londynu, gdzie poznał Jacka Barrie, właściciela klubu La Chasse w Soho, zaprzyjaźnionego z byłymi członkami Warriors, który zatrudnił Andersona w klubie. Nagrał w tym czasie kilka utworów demo dla Paula Kordy, producenta EMI. Na krótko wyjechał do Holandii, dołączając do zespołu Les Crunches, ale wrócił, dowiedziawszy się o wydaniu niektórych z nagranych przez niego piosenek na singlach przez Parlophone.