Ryzykowne inwestycje, jakie prowadził Henry Lee, podobnie jak wielu innych Ojców Założycieli, doprowadziły jego rodzinę do trudnej sytuacji finansowej. Szczególnie spółki z Aaronem Burrem i Robertem Morrisem okazały się nietrafione. W 1810 roku w obliczu żądań swoich wierzycieli oraz aby wyjść z więzienia dla dłużników, Lee zdecydował się na sprzedaż całego majątku.
Śmierć 27 lipca 1812 roku w Baltimore, pomagając przeciwnikowi administracji Jeffersona, Alexandrowi Contee Hansonowi, napadniętemu przez tłum zwolenników partii Demokratycznych Republikanów, Henry Lee został dotkliwie pobity. W trakcie wycofywania się, wraz około dwudziestoma innymi federalistami wzięli zakładnika i schronili się w biurach w budynku na Charles Street. Dzięki negocjacjom prowadzonym m.in. przez generała brygady Johna Strickera oraz przedstawicieli władz Baltimore, Lee i jego towarzysze poddali się następnego dnia. Postanowiono o przewiezieniu ich do więzienia hrabstwa. Na drodze konwoju stanął jednak tłum prowadzony przez robotnika, George Woolslagera, który bił uwięzionych federalistów przez ponad 3 godziny. Jeden z pobitych, James Maccubin Lingan, zmarł.