Ukończył je w 1783 i został przyjęty do palestry w stanie Connecticut.
W kolejnym roku przeprowadził się do Augusty w stanie Georgia, gdzie również udało mu się zdobyć pozwolenie na prowadzenie praktyki adwokackiej i gdzie otrzymał ziemię w hrabstwie Wilkes. W 1785 zdobył miejsce w stanowej legislaturze i w Kongresie Kontynentalnym. Dwa lata później zmarł jego ojciec i Abraham zobowiązał się spłacić jego długi i z własnej kieszeni sfinansować edukację swojego rodzeństwa.
Także w 1787 Baldwin uczestniczył w konwencji w Filadelfii, na której uzgodniono treść Konstytucji Stanów Zjednoczonych. Był również jednym z jej sygnatariuszy.
Po konwencji Baldwin powrócił do Kongresu Kontynentalnego, gdzie zasiadał w latach 1787 i 1788. Następnie został wybrany do Kongresu Stanów Zjednoczonych, gdzie zasiadał 18 lat (do śmierci). W latach 1789–1799 przez pierwszych pięć kadencji kongresu zasiadał w Izbie Reprezentantów, a w latach 1799–1807 w Senacie. Podczas siódmej kadencji kongresu pełnił funkcję przewodniczącego pro tempore Senatu Stanów Zjednoczonych.
W parlamencie był ostrym przeciwnikiem polityki prowadzonej przez Alexandra Hamiltona, a gorącem zwolennikiem Thomasa Jeffersona i Jamesa Madisona.