Akompaniował rhythm and bluesowej śpiewaczce Nancy Holloway, która jako pierwsza przekonała go, aby spróbował swych sił jako wokalista solowy.
Lata 60. W 1962 roku zadebiutował w paryskiej Olympii, co zapoczątkowało jego karierę artystyczną we Francji. Przełomem okazała się dla niego EP-ka „Mirza” z 1965 roku, z charakterystyczną partią organów, na których grał Bernard Estardy. Tytułowy utwór z EP-ki znalazł się również na debiutanckim albumie artysty, Enregistrement Public. Nino Ferrer zaczął być z czasem kojarzony z ruchem yé-yé, którego eksponentami byli we Francji Jacques Dutronc i Michel Polnareff. Będąc jednak o dziesięć lat starszy od większości gwiazd spod znaku yé-yé, przestał odczuwać satysfakcję ze swej działalności w show-biznesie. Po daniu prawie 200 koncertów w 1966 roku postanowił przenieść się do Włoch, gdzie przez kilka lat był współgospodarzem telewizyjnego show Io, Agata e tu, prowadzonego przez Raffaellę Carrà. Jednocześnie kontynuował wydawanie coraz bardziej cynicznych w wyrazie, czasami upolitycznionych EP-ek („Mao et Moa”, „Le Roi de L'Angleterre”). Jego drugi album, Le telefon, wydany w 1967 roku, okazał się sukcesem, również poza granicami Francji.