Keogh w tym samym czasie brał udział w pościgu za generałem Lee w Pensylwanii jako podwładny Buforda.
Na początku lipca 1863 roku, w trzydniowej bitwie pod Gettysburgiem, Keogh był prawą ręką Buforda organizując obronę przed wojskami konfederackimi, gdzie atak piechoty poprzedziła kanonada 140 dział. Wysiłki Keogha zostały docenione, co zaowocowało nominacją na stopień majora.
Po śmierci Buforda, który zmarł na tyfus Keogh został adiutantem generała Stonemana. W lipcu 1864, Stoneman poprowadził wypad na południe i południowy wschód, niszcząc linie kolejowe i zakłady przemysłowe Południowców. Ryzykowny rajd na tyły Konfederatów miał również doprowadzić do uwolnienia jeńców przetrzymywanych w Macon, w stanie Georgia i w Andersonville.
Jakkolwiek kawalerii Stonemana udało się zniszczyć linie kolejowe Południowców, atak na Macon zakończył się porażką 31 lipca, gdy obaj, Keogh i Stoneman, zostali schwytani przez Konfederatów w Georgii, gdy zabito pod nimi konie. Keogh przez dwa i pół miesiąca był jeńcem wojennym i został uwolniony dzięki działaniom generała Shermana. Za swe zasługi w wojnie Keogh został awansowany do stopnia podpułkownika czasu wojny.