Po napisaniu tekstu, Grace postanowiła stworzyć muzykę, która doskonale będzie akompaniować tekstowi. Przypomniała sobie dzień, gdy odsłuchiwała płytę Milesa Davisa, skąd wziął się motyw przewodni. Jest on oparty na crescendo, zainspirowanym słynnym Boléro Maurice Ravela. Całość ma charakter wyraźnie psychodeliczny, a tamtego czasu rock psychodeliczny stawał się coraz bardziej popularny w zachodniej Ameryce, co miało wpływ na twórczość Grace, która mieszkała w San Francisco. Pierwsza wersja utworu znacząco różniła się od końcowej. Była dłuższa o ponad 3 minuty i zawierała więcej elementów instrumentalnych.
W 1966 roku zespół rozpadł się, przez co piosenka nie została perfekcyjnie dopracowana. Niektórzy z członków zespołu wyemigrowali do Indii by uczyć się gry na sitarze. W 1966 roku, Grace została wokalistką Jefferson Airplane, dla którego wzięła udział w nagrywaniu drugiej płyty grupy, Surrealistic Pillow, pod warunkiem, że zespół wykorzysta dwie kompozycje the Great Society: „Somebody to Love” i właśnie „White Rabbit”. Na początku listopada 1966 roku piosenka została ostatecznie nagrana.