W rzeczywistości, chociaż podziwiany przez swych ludzi za wyjątkową odwagę pod ogniem, Humphreys nie był przez nich zbytnio lubiany. Miał pięćdziesiąt parę lat, uważali go więc za starca, nawet mimo jego dość młodego wyglądu. Przezwali go „Old Goggle Eyes” z powodu noszonych przezeń okularów. Był dla nich ciemiężycielem.
mały|Sztab generalny Armii Potomaku: Gouverneur Warren, William French, George Meade, Henry Hunt, Andrew Humphreys oraz George Sykes we wrześniu 1863 W bitwie pod Chancellorsville dywizja Humphreysa nie zdziałała wiele, głównie dlatego, że większość żołnierzy bliska była końca służby i powrotu do cywila. 23 maja 1863 Humphreys został przeniesiony jako dowódca 2 Dywizji III Korpusu gen. mjr. Daniela Sicklesa. Gdy Meade przejął dowodzenie nad Armią Potomaku tuż przed bitwą pod Gettysburgiem, poprosił Humphreysa by został jego szefem sztabu w miejsce gen. mjr. Daniela Butterfielda, którego uważano za zbyt blisko związanego politycznie z poprzednim dowódcą armii, gen. mjr. Josephem Hookerem. Humphreys odmówił nie chcąc zostawiać dywizji. Ta jego nowa dywizja niemal natychmiast weszła do akcji pod Gettysburgiem gdzie, 2 lipca 1863 roku, Sickles wbrew rozkazom wycofał swój korpus z pozycji obronnej na Cemetery Ridge.