Crowninshield 1814–1817 Kiedy zbliżał się koniec drugiej kadencji Thomasa Jeffersona, James Madison wraz z urzędującym wiceprezydentem George’em Clintonem ubiegali się z ramienia Partii Demokratyczno-Republikańskiej o urzędy odpowiednio prezydenta Stanów Zjednoczonych i wiceprezydenta. Ich rywalami byli Charles Cotesworth Pinckney i Rufus King z Partii Federalistycznej. Madison i Clinton odnieśli zdecydowane zwycięstwo, bowiem w głosowaniu Kolegium Elektorów uzyskali odpowiednio 122 i 113 głosów przeciwko 47 głosom na Pinckneya i Kinga. James Madison objął urząd 4 marca 1809. Zaprzysiężenia – na 4. prezydenta Stanów Zjednoczonych – dokonał po raz trzeci prezes Sądu Najwyższego, John Marshall.
Jedną z pierwszych inicjatyw prezydenta było rozstrzygnięcie kwestii Banku Centralnego, którego ważność wygasała w 1811 roku. Madison, który uważał Bank za niekonstytucyjny, odwołał się do Senatu – tam wynik głosowania był równy (17:17), zatem ostateczny głos należał do wiceprezydenta, jako przewodniczącego Senatu. Clinton zagłosował przeciw i Bank przestał istnieć.