Uczenie i dostrajanie
Przewidywanie kolejnego tokenu
Next-token prediction
Inne nazwy i skróty: causal language modeling, autoregresyjne modelowanie języka.
Co to jest przewidywanie kolejnego tokenu?
Zadanie określania, jaki token może pojawić się po dotychczasowej sekwencji.
Stosowane jako cel uczenia modeli autoregresyjnych i jako element generowania. Model przewiduje rozkład możliwych tokenów, a nie jedną pewną kontynuację.
Przykład zastosowania
Po fragmencie „Prosimy o numer” model oblicza prawdopodobieństwa możliwych dalszych tokenów, np. dotyczących zamówienia.
O czym pamiętać?
Prawdopodobna kontynuacja nie musi być prawdziwą ani właściwą odpowiedzią.
Powiązane pojęcia
- Parametry modelu (Model parameters)
- Uczenie maszynowe (Machine learning)