Uczenie i dostrajanie
Podwójny spadek błędu
Double descent
Inne nazwy i skróty: podwójne opadanie błędu.
Co to jest podwójny spadek błędu?
Zjawisko, w którym błąd na nowych danych najpierw maleje, potem rośnie, a następnie ponownie maleje wraz ze zmianą złożoności modelu lub długości uczenia.
Pokazuje, że klasyczny wykres przeuczenia nie opisuje wszystkich reżimów uczenia.
Przykład zastosowania
W eksperymencie zespół rysuje błąd testowy dla rosnących rozmiarów modelu i obserwuje spadek, wzrost oraz ponowny spadek.
O czym pamiętać?
Taki przebieg nie jest gwarantowany dla każdego zbioru danych i sposobu uczenia.
Powiązane pojęcia
- Parametry modelu (Model parameters)
- Uczenie maszynowe (Machine learning)