jej matka była wnuczką purytańskiego teologa Jonathana Edwardsa. Polkowie mieli ośmioro dzieciRobins, s. 1538..
W roku 1832, na dwa lata przed śmiercią ojca, Leonidas Polk przeprowadził się wraz z rodziną do wielkiej posiadłości ziemskiej „Polk Rattle and Snap” w hrabstwie Maury w Tennessee, gdzie zbudował ogromny, neoklasycystyczny pałac, który nazwał Ashwood Hall. Polk był uważany za największego właściciela niewolników w hrabstwie Maury; w roku 1840 miał stu jedenastu niewolników obojga płci, w 1850 dwustu piętnastu (choć mogło ich być nawet czterystu).
Wraz ze swymi czterema braćmi wzniósł kaplicę rodzinną (dziś kościół św. Jana) w AshwoodKościół ten stał się sławny z powodu konfederackiego generała Patricka Cleburne’a, który miał powiedzieć, że „warto umrzeć, by być pochowanym w tak pięknym miejscu”; dwa dni później generał poległ pod Franklin i przez 6 lat jego członki spoczywały u św. Jana.. Był pastorem w kościele św. Piotra w Columbii. We wrześniu 1838 roku został biskupem misyjnym Południowego Zachodu, a w październiku 1841 wybrano go na biskupa Luizjany.