Ocena i benchmarki
Perpleksja modelu
Perplexity
Inne nazwy i skróty: PPL, miara niepewności predykcji.
Co to jest perpleksja modelu?
Miara związana ze średnim prawdopodobieństwem, jakie model przypisuje tokenom tekstu testowego.
Niższa wartość oznacza lepsze przewidywanie tego tekstu. Porównania wymagają zgodnych danych i sposobu tokenizacji; nie mierzą bezpośrednio prawdziwości odpowiedzi.
Przykład zastosowania
Analityk porównuje dwa modele na tym samym odłożonym korpusie instrukcji z identycznym tokenizatorem.
O czym pamiętać?
Wartości z różnymi tokenizatorami nie są prostą miarą porównania prawdziwości odpowiedzi.
Powiązane pojęcia
- Funkcja straty (Loss function)
- Tokenizacja (Tokenization)