Początkowo frakcja nie miała żadnej opozycji, jednak pomysł powołania banku centralnego wyłonił frakcję antyfederalistów (zwanych później demokratycznymi republikanami). Formalnie Partia Federalistyczna uformowała się w 1791 roku.
Działalność Gdy George Washington powołał swój pierwszy gabinet, zaprosił do niego zarówno federalistów, jak i antyfederalistów. Pierwszą grupę, poza Hamiltonem, reprezentował sekretarz wojny Henry Knox. Ich działalność, zarówno w rządzie, jak i w Kongresie skupiała się głównie na polityce fiskalnej. Poza powołaniem banku centralnego, Hamilton postulował wprowadzenie ceł protekcyjnych, chroniących kształtujący się przemysł amerykański. Poparcie dla federalistów pochodziło wówczas głównie od kupców, elit finansowych i wielkoobszarowych plantatorów. Stanami, które na nich głosowały były głównie stany Nowej Anglii. Gdy w latach 90. XVIII wybuchła rewolucja francuska, a Francja wypowiedziała Wielkiej Brytanii wojnę, federaliści nie chcieli się wikłać w konflikt, choć byli nastawieni probrytyjsko. Po nałożeniu embarga, John Jay wynegocjował traktat handlowy pomiędzy Wielką Brytanią a USA, który był szeroko krytykowany przez antyfederalistów. Ratyfikacja traktatu stała się podstawą do uformowania opozycyjnej Partii Demokratyczno-Republikańskiej.