Algorytm powinien być tak skonstruowany, aby znajdowane wartości funkcji malały w kolejnych krokach, tj.
(a) Jeżeli warunek ten nie jest w danym kroku spełniony, to należy powtórzyć krok z mniejszą wartością
(b) W wielu przypadkach przyjmuje się jednakowe wartości , tj.
(c) Jeśli jest funkcją kwadratową wielu zmiennych o dodatnio określonym hesjanie to można przyjąć:
gdzie jest największą wartością własną macierzy
Kryterium stopu W celu określenia, czy punkt w danym kroku dostatecznie dobrze przybliża minimum funkcji celu w metodzie gradientu prostego można użyć następujących kryteriów stopu (dla zadanej precyzji oraz normy w przestrzeni ): - test stacjonarności gradientu - test stacjonarności przemieszczania się punktu
Zbieżność Metoda gradientu prostego jest metodą o zbieżności liniowej. Oznacza to, iż przy spełnieniu założeń metody, odległości pomiędzy kolejnymi przybliżeniami a minimum funkcji maleją liniowo:
Podsumowanie - schemat algorytmu Algorytm gradientu prostego składa się z 4 etapów postępowania: Wybierz punkt startowy Przyjmij .