W roku 1844 przegrał wybory na gubernatora stanu Nowy Jork, a dwa lata później wziął udział w wojnie amerykańsko-meksykańskiej.
Na konwencji wyborczej Partii Wigów w drugim głosowaniu uzyskał nominację na wiceprezydenta. Po zwycięskich dla wigów wyborach, objął drugi co do ważności urząd w państwie przy Zachary’m Taylorze. W czasie sprawowania funkcji, liderzy partyjni odizolowali Fillmore’a od działań politycznych, przez co jego jedynym zadaniem było przewodniczenie obradom Senatu. W czasie jego wiceprezydentury toczyła się debata publiczna na temat niewolnictwa w nowo przyjętych stanach. Henry Clay zaproponował wówczas tzw. „Kompromis 1850 roku”, który miał zostać poddany pod głosowanie w izbie wyższej. Obawiając się o równowagę głosów, Fillmore (do którego należałby decydujący głos w przypadku ich równej ilości) zadeklarował poparcie dla kompromisowej ustawy. Ustawa została przegłosowana bez konieczności głosu wiceprezydenta, ale zanim trafiła na biurko Taylora, prezydent zmarł (9 lipca 1850). W tej sytuacji Fillmore objął najwyższy urząd w państwie.