W wieku 5 lat Ray zaczął tracić wzrok, a mając siedem lat stał się całkiem ociemniały. Muzyk nigdy nie wiedział dokładnie co spowodowało jego problemy ze wzrokiem. Pewne źródła mówią, iż przyczyną mogła być jaskra. Charles uczęszczał do szkoły dla niewidomych Florida School for the Deaf and Blind w St. Augustine na Florydzie, gdzie nauczył się alfabetu Braille’a, a także komponowania muzyki i grania na różnych instrumentach, m.in. na klarnecie, a potem na fortepianie. W czasie nauki Charlesa w szkole zmarli jego rodzice.
Zanim Charles ukończył szkołę, zaczął grać w wielu zespołach, wykonujących różne gatunki muzyczne, w tym m.in. jazz. Ciemne okulary, które szybko stały się jego znakiem firmowym, artysta zaczął nosić w 1948 roku, jako członek zespołu McSon Trio (gdzie Gosady McGee był gitarzystą, a Milton Garred basistą)Michael Lydon, Ray Charles: Man and Music, Updated Commemorative Edition, Routledge, 2004, s. 56..