Allanowie ochrzcili Poego w Kościele episkopalnym w 1812 roku. John Allan na przemian rozpieszczał i agresywnie karał swego wychowanka. Rodzina wypłynęła do Anglii w 1815 roku. Poe uczęszczał do szkoły w Irvine w Szkocji (gdzie John Allan się urodził) przez krótki okres w roku 1815, zanim dołączył do rodziny w Londynie w 1816. Uczył się w szkole z internatem w Chelsea do lata 1817. Następnie wstąpił do szkoły Reverend John Bransby’s Manor House School w Stoke Newington, na przedmieściach oddalonych wówczas 6 km od północnego Londynu.
Poe przeprowadził się z powrotem z Allanami do Richmond w 1820 roku. W marcu 1825 zmarł wujek Johna AllanaMeyers, 20. oraz biznesowy dobroczyńca William Galt, jedni z najbogatszych ludzi w Richmond, pozostawiając Allanowi kilka akrów posiadłości. Spadek był szacowany na 750 000 dolarów. Latem 1825 roku Allan, celebrując swój pokaźny majątek, nabył dwupiętrowy dom ceglany Moldavia Poe zaręczył się z Sarah Elmirą Royster, a następnie zapisał się na roczne studia językowe na Uniwersytecie Virginia w lutym 1826 roku. Uniwersytet, jeszcze w powijakach, był prowadzony zgodnie z ideałami jego założyciela Thomasa Jeffersona. Obowiązywały tam ścisłe zasady zabraniające hazardu, jazdy konnej, noszenia broni, używania tytoniu i alkoholu, jednak były one generalnie ignorowane.