François Fillon, jak większość polityków francuskich, zaangażował się też w politykę w ramach administracji terytorialnej. W 1981 został radnym departamentu Sarthe. Zasiadał w niej do 1998, od 1985 jako jej wiceprzewodniczący, a od 1992 na stanowisku przewodniczącego. Pełnił też funkcję zastępcy mera Sablé-sur-Sarthe (1981–1983), a następnie przez osiemnaście lat burmistrza tej miejscowości (1983–2001). Od 1998 do 2007 był radnym rady regionalnej Kraju Loary, w latach 1998–2002 jako jej przewodniczący, następnie przez dwa lata jako wiceprzewodniczący. Od 2001 wybierany na radnego Solesmes.
W 1981, w wieku 27 lat, François Fillon został po raz pierwszy wybrany do Zgromadzenia Narodowego z departamentu Sarthe. Od tego czasu w następnych wyborach parlamentarnych (w 1986, 1988, 1993, 1997 i 2002) utrzymywał swój mandat poselski. W latach 1986–1988 przewodniczył parlamentarnej komisji obrony.
W latach 1993–1995 po raz pierwszy wchodził w skład rady ministrów, zajmował stanowisko ministra szkolnictwa wyższego i badań w rządzie Édouarda Balladura. W maju 1995 objął urząd ministra usług pocztowych i technologii informacyjnych w gabinecie Alaina Juppé, sprawował go do maja 1997.