W 1938 debiutował w programie kabaretowym pod pseudonimem Yves Montand. W czasie II wojny światowej jego brat dostał się do niewoli i Montand stał się jedynym żywicielem rodziny. Pracował jako tragarz portowy, a wieczorem śpiewał w kabaretach. Praca w środowisku marsylskich dokerów wpłynęła na jego światopogląd. W okresie wojny, współpracując z ruchem oporu, rozpoczął swoją działalność w szeregach Francuskiej Partii Komunistycznej. Z tego okresu pozostały mu socjalistyczne, niemal skrajnie lewicowe przekonania i zaangażowanie w sprawy polityki.
Od 1942 występował na estradach Marsylii, Tuluzy i Bordeaux, stając się najpopularniejszym śpiewakiem portowych estrad. W 1944 przyjechał do Paryża i w ciągu kilku miesięcy zdobył sławę jednego z najlepszych piosenkarzy francuskich. Teksty piosenek pisał dla niego Jacques Prévert. W Moulin Rouge, dzięki koneksjom Émile’a Audiffreda, wystąpił jako support przed Édith Piaf, z którą miał też romans w latach 1944–1946.