Madsen jest jego potomkiem poprzez trzecią żonę, Marię Johannę Sorensen.
Przodkowie Madsena, podobnie jak wielu innych wczesnych świętych w dniach ostatnich, zaangażowali byli w praktykę małżeństw pluralistycznych. Z mormonami z wczesnego okresu historii wspólnoty dzielili też znaczące wyrzeczenia. Doświadczenia te spowodowały, że w środowisku rodzinnym Madsena niezwykle wysoko ceniono lojalność wobec Kościoła. Zaważyło to w sposób decydujący na światopoglądzie i formacji intelektualnej badacza.
Dodatkowo, poprzez dokonaną za zmarłych ceremonię pieczętowania, Madsen połączony był również z Josephem Smithem. Przynajmniej częściowo wyjaśnia to widoczne w jego pracy badawczej szczególne zainteresowanie postacią twórcy całego ruchu świętych w dniach ostatnich.