W czasie II wojny światowej służył w armii. W 1948 r. został ordynowany jako pastor baptystyczny, a dwa lata później ukończył Alabama State University, uzyskując stopień Bachelor of Science. Następnie studiował na Atlanta University, gdzie uzyskał Master of Arts. Po zakończeniu nauki, został pastorem w First Baptist Church w Montgomery. W 1952 r. poślubił Juanitę Odessę Jones, z którą doczekał się czworga dzieci. Dwa lata po ślubie został pastorem w Dexter Avenue Baptist Church, gdzie poznał Martina Luthera Kinga. Wraz z nim zorganizował miejski bojkot transportu publicznego, dzięki czemu wymusił proces desegregacji rasowej w 1956 roku. Rok później obaj założyli Konferencję Przywódców Chrześcijańskich Południa, gdzie Abernathy objął funkcje sekretarza i skarbnika. W 1961 r. przeniósł się ze swoją działalnością duszpasterksą i społeczną do Atlanty, gdzie został wiceprzewodniczącym SCLC. Dwa lata później obaj zostali aresztowani w Birmingham.