Aktu Usunięcia Indian, zmuszono do przesiedlenia się na te tereny plemię Czirokezów, którzy osiedlili się na tak zwanym Neutralnym Terytorium Czirokezów, będącym częścią wyznaczonego Terytorium Indiańskiego.
W pobliżu źródeł powstała faktoria, wokół której ukształtowała się społeczność złożona z rdzennych Amerykanów i europejskich osadników. W 1848 jeden z osadników, John J. Baxter wykupił część terenu, po czym otworzył tu zajazd i sklep, zwane Baxter’s Place. Miasto założono tu w 1868 r. nadając mu obecną nazwę.
W czasie wojny secesyjnej wybudowano tu kilka posterunków wojskowych i ufortyfikowano teren dawnej faktorii dla ochrony osadników przed oddziałami i bojówkami konfederatów. 4 października 1863 około 500 członków prokonferederackiej partyzantki – bushakerów, tzw. Najeźdźców Quantrilla (Quantrill’s Riders) zaatakowało Fort Baxter zabijając niemal całą załogę, w tym jeńców. Wydarzenie to znane jest jako Masakra w Baxter Springs.