W tamtym czasie zmienił też nazwisko przez dodanie do niego litery „e”, podobnie jak jego idol Sam Cooke.
Gaye, będąc już członkiem Motown, ale jeszcze przed wydaniem debiutanckiego albumu, wystąpił w nagraniu kilku przebojów Smokey Robinsona i grupy The Miracles. W czerwcu 1961 roku ukazał się Soulful Moods, debiutancki album Gaye’a. Album nie zachwycił odbiorców, a wszystkie single zawiodły. Muzyk mówił wtedy, że wciąż nie może się odnaleźć. Nie mógł zdecydować, czy chce być artystą soulowym, jak Smokey czy jazzowym, jak Nat King Cole. Dopiero jego drugi album That Stubborn Kinda Fellow stał się wielkim hitem. Single „Hitch Hike” i „Can I Get a Witness” dotarły do czołowej „30” głównej amerykańskiej listy przebojów „Billboardu” Hot 100. W 1963 roku kolejny singel, „Pride and Joy”, stał się wyznacznikiem jego fascynacji i ambicji muzycznych. Singel ten pokazał również rozdźwięk pomiędzy wydawniczymi planami wytwórni Motown a zamiarami Gaye’a, który chciał śpiewać we własnym, niekomercyjnym stylu.
Przez kolejne 3 lata Gaye zachował swój muzyczny obraz i udawał uśmiechniętego, wesołego artystę tanecznej muzyki R&B. Muzyk pracował także poza Motown. Wspólnie z zespołem Martha and the Vandellas stworzył przebój „Dancing in the Street”.