W ciągu następnych 20 lat para żyła zgodnie, przy czym sama Packard prowadziła dom w Shelbourne w Massachusetts i urodziła sześcioro dzieci, w tym pięciu synów i jedną córkę.
W 1857 r. rodzina przeprowadziła się z Nowej Anglii do Manteno w Illinois, gdzie zaczęła interesować się postępowymi prądami religijnymi: uniwersalizmem, swedenborianizmem i spirytualizmem, które głosiły wolność myśli i wypowiedzi, ustalenia ram własnej relacji z bogiem i znaczenia dobrych uczynków dla zbliżenia się do niego, kładąc nacisk na jego miłosierną, a nie karzącą naturę, a także nie demonizowały kobiet. Jej mąż był niezadowolony z jej nowych zainteresowań i oburzał się, że próbowała przemawiać do kongregacji, czym podważała jego autorytet. W tej sytuacji mąż zaczął publicznie oskarżać ją o chorobę psychiczną, a także opłacił lekarza, który potwierdził jego zarzuty.