Obawiając się pościgu ze strony armii gen. Rennekampfa i postępów armii gen. Samsonowa, który mógł opanować przeprawy na Wiśle i odciąć jego armię, zdecydował się już 20 sierpnia około 17:00 na odwrót za linię Wisły, oddając tym samym Prusy Wschodnie Rosjanom. W tych przekonaniach utwierdzał dodatkowo Prittwitza jego szef sztabu generał Georg von Waldersee. Nie pomogły nic wszystkie przedłożenia starszych oficerów sztabu armii, którzy proponowali wstrzymanie się z odwrotem przynajmniej przez jeszcze jeden dzień, dla rozegrania partii z Rennekampfem. O 21:30 generał von Prittwitz wydał rozkaz, aby nocą oderwać się od przeciwnika i rozpocząć odwrót.
Tymczasem, mimo porażki pod Gąbinem, sytuacja Niemców nie była wcale tak beznadziejna, jak przedstawiał ją von Prittwitz. Odwrót za linię Wisły mógł być rzeczywiście zagrożony przez działania 2 Armii, ale dopiero po przekroczeniu przez nią linii Olsztyn (Allenstein) – Ostróda (Osterode) – Iława (Deutsch Eylau), tzn. około 80 km od granicy, do której ta armia dopiero się zbliżała. Dodatkowo jej działania byłyby zagrożone przez załogi twierdz w Toruniu (Thorn) i Grudziądzu (Graudenz), co musiało opóźnić jej marsz. Jak oblicza Bolesław Zawadzki, marsz armii gen. Samsonowa na wymienioną wcześniej linię musiałby trwać około siedmiu dni, co dawało gen.