Robert Nesta otrzymał pierwsze imię po bracie kapitana Marleya, drugie zaś, o walijskim pochodzeniu, zostało mu nadane przez ojca bez podania przyczyny; według Cedelli, Nesta oznaczało „posłaniec”. Kilka pierwszych miesięcy życia spędził na farmie swojego dziadka Omeriasza Malcolma, cieszącego się dobrą sławą miejscowego zielarza i myalmana (szamana). Wkrótce matka zamieszkała z kilkumiesięcznym Nestą w położonej nieopodal własnej, jednopokojowej chatce na wzgórzu (obecnie odremontowana, stanowi część Mauzoleum Boba Marleya). By móc utrzymać siebie i syna, z pomocą Omeriasza otworzyła także niewielki sklepik spożywczy w Alvie, gdzie sprzedawała produkty uprawiane w rodzinnym gospodarstwie.
Gdy Nesta skończył 4 lata, namówił matkę, by zapisała go o rok wcześniej do pobliskiej wiejskiej szkoły podstawowej w Stepney. We wrześniu 1949 roku Cedella otrzymała od kapitana Marleya list, w którym naciskał on, by Nesta został adoptowany przez jednego z jego bratanków, mieszkającego w Kingston majętnego dyrektora firmy budowlanej. Jako że treść pisma sugerowała, iż matka miałaby już nigdy nie zobaczyć syna, kapitan Marley spotkał się ze zdecydowaną odmową.