Elizabeth Cairnes Poe zmarła 7 lipca 1835 roku, pozbawiając rodzinę źródła dochodu, przez co ich sytuacja finansowa jeszcze bardziej się pogorszyłaQuinn, 218.. W tym okresie, czyli jeszcze przez 1836 rokiem, zmarł też Henry, a Virginia została jedynym ocalałym dzieckiem Marii ClemmSilverman, 323..
W sierpniu 1835 roku Poe zostawił pozbawioną środków do życia rodzinę i przeprowadził się do Richmond w stanie Wirginia, by podjąć pracę w czasopiśmie Southern Literary MessengerSova, 225.. Pod nieobecność Poego w Baltimore inny kuzyn, Neilson Poe, mąż przyrodniej siostry Virginii, Josephine ClemmQuinn, 219., dowiedział się, że Edgar rozważał małżeństwo z Virginią. By zapobiec małżeństwu dziewczyny z Edgarem w tak młodym wieku, Neilson zaproponował objęcie przez siebie opieki nad Virginią i zapewnienie jej edukacji, choć zasugerował również, że można by ponownie rozważyć możliwość zaślubin w przyszłościSilverman, 104.. Edgar nazwał Neilsona, który był właścicielem jednej z ukazujących się w Baltimore gazet, swoim „najzacieklejszym wrogiem”, postrzegając działania kuzyna jako próbę zerwania swojej znajomości z VirginiąMeyers, 72.. Dwudziestego dziewiątego sierpnia 1835 roku Edgar napisał pełen emocji list do Marii, wyznając: „zalewałem się łzami, pisząc go” i błagając, by pozwoliła Virginii podjąć samodzielną decyzjęSilverman, 105..