Jeszcze w dzieciństwie poznał Arta Garfunkela, kolegę ze Szkoły Podstawowej nr 164 w Kew Gardens, z którym dzielił zainteresowanie muzyką. Równocześnie z działalnością w zespole Simon & Garfunkel nagrywał solowe piosenki. Zadebiutował w styczniu 1958 singlem „True or False”, który wydał pod pseudonimem True Taylor. Nagrał też dwa utwory instrumentalne, które skomponował z Sidem Prosenem: „Tijuana Blues” i „Simon Says”. Dorabiał jako piosenkarz studyjny, nagrywał dema dla wytwórni muzycznych i wykonawców. Pod pseudonimem Jerry Landis wydał m.in. singiel „The Lonely Teen Ranger” notowany na liście Hot 100 . W 1962 z singlem „Motorcycle”, wydanym jako Tico and the Triumphs, dotarł do 99. miejsca na Hot 100. Pracował w firmie E.B. Marks Publishing Company, w której prezentował piosenki agentom wykonawców. Z czasem zaczął pisać poetyckie teksty piosenek, przez co bywał porównywany do Boba Dylana.