Uczenie i dostrajanie
Spadek gradientowy
Gradient descent
Inne nazwy i skróty: metoda gradientu prostego, zejście gradientowe.
Co to jest spadek gradientowy?
Metoda zmniejszania wartości funkcji celu przez przesuwanie parametrów przeciwnie do kierunku gradientu.
Wielkość kroku określa współczynnik uczenia; zbyt duże kroki mogą destabilizować optymalizację.
Przykład zastosowania
Optymalizator po wyznaczeniu gradientu zmienia wagi klasyfikatora o mały krok zmniejszający stratę.
O czym pamiętać?
Zbyt duży krok może zwiększyć błąd zamiast stabilnie go zmniejszać.
Powiązane pojęcia
- Parametry modelu (Model parameters)
- Uczenie maszynowe (Machine learning)