Sekretarz stanu Kiedy w 1801 na prezydenta został zaprzysiężony Thomas Jefferson, 2 maja 1801 Madison został sekretarzem stanu USA. Pomimo że sprawy zagraniczne stanowiły istotny element polityki prezydenta, Madison nie odgrywał większej roli – ograniczał się do lojalnego wspierania Jeffersona. Urząd ten sprawował do końca drugiej kadencji Jeffersona, tj. do 4 marca 1809.
Prezydentura Gabinet Jamesa Madisona (1809–1817)Urząd Nazwisko KadencjaPrezydent James Madison 1809–1817Wiceprezydent George Clinton 1809–1812 Elbridge Gerry 1813–1814Sekretarz stanu Robert Smith 1809–1811 James Monroe 1811–18141815–1817Sekretarz skarbu Albert Gallatin 1809–1814 George W. Campbell 1814–1814 Alexander J. Dallas 1814–1816 William H. Crawford 1816–1817Sekretarz wojny William Eustis 1809–1813 John Armstrong Jr. 1813–1814 James Monroe 1814–1815 William H. Crawford 1815–1816Prokurator generalny Caesar Augustus Rodney 1809–1811 William Pinkney 1811–1814 Richard Rush 1814–1817Poczmistrz generalny Gideon Granger 1809–1814 Return J. Meigs Jr. 1814–1817Sekretarz Marynarki Wojennej Paul Hamilton 1809–1813 William Jones 1813–1814 Benjamin W.