Parker nie był w stanie ocenić, co się dzieje z Nelsonem. Bojąc się, że okręty brytyjskie znalazły się w trudnej sytuacji i że ich dowódca nie może się wycofać bez rozkazu, postanowił o godzinie 13:30 nadać sygnał do odwrotu. Parker doszedł do wniosku, że Nelson zignoruje ten sygnał, jeśli oceni, że dalsza walka może przynieść powodzenie. Jeśli jednak rzeczywiście okręty brytyjskie znalazły się w fatalnej sytuacji, Nelson będzie mógł się wycofać bez narażenia się na zarzut, że wycofał się bez rozkazu.
Nelson potwierdził odebranie sygnału, lecz nie powtórzył go. Anegdotycznym wydarzeniem stało się przyłożenie przez Nelsona lunety do ślepego oka i jego stwierdzenie, że nie dostrzegł sygnału. Zastępca Nelsona, kontradmirał (rear admiral) Thomas Graves, powtórzył sygnał Parkera, ale w miejscu niewidocznym dla większości okrętów Nelsona. Spośród kapitanów Nelsona tylko Riou, który nie mógł widzieć okrętu flagowego Nelsona „Elephant”, podążył za sygnałem Parkera i wycofał się z walki. W trakcie odwrotu Riou wystawił swoje siły na silny ogień dział fortu Trekroner, na skutek którego sam zginął.