W 1801 roku oboje przenieśli się do Waszyngtonu, gdzie Madison został sekretarzem stanu w gabinecie Thomasa Jeffersona. Dolley Madison pełniła wówczas obowiązki pierwszej damy, gdyż urzędujący prezydent był wdowcem. Sama w niewielkim stopniu interesowała się polityką, choć wypytywała swojego męża o sytuację w kraju. Federaliści, przeciwnicy polityczni Madisona, rozsiewali w prasie nieprawdziwe posądzenia o romansowanie Dolley z urzędującym prezydentem. Kiedy w 1808 Madison kandydował na prezydenta, pojawiły się dodatkowe zarzuty o jej relacjach z dyplomatami i politykami, które miały zapewnić zwycięstwo w głosowaniu Kolegium Elektorów.
Po przeprowadzce do Białego Domu, który nie był jeszcze wykończony, Dolley postanowiła przyspieszyć ukończenie prac. W tym celu zwróciła się o fundusze do Kongresu i otrzymała 11 tysięcy dolarów. Za te pieniądze wynajęła architekta wnętrz Benjamina Latrobe’a, wykończyła Wschodnie Skrzydło, a także udekorowała i umeblowała rezydencję. Następnie aktywnie włączyła się w życie towarzyskie, organizując środowe przyjęcia, na które zapraszani byli nie tylko politycy i dyplomaci, ale także pisarze i artyści.