Promptowanie i generowanie
Losowanie z jądra rozkładu
Top-p sampling
Inne nazwy i skróty: topP, nucleus sampling, top-p.
Co to jest losowanie z jądra rozkładu?
Losowanie tokenu z najmniejszego zbioru najbardziej prawdopodobnych kandydatów, którego łączna masa prawdopodobieństwa osiąga próg p.
Liczba kandydatów może się zmieniać między krokami. Nie jest to prawdopodobieństwo poprawności odpowiedzi.
Przykład zastosowania
W eksperymencie z opisami produktu zespół dopuszcza kandydatów obejmujących łącznie 90 procent masy prawdopodobieństwa następnego tokenu.
O czym pamiętać?
Próg 0,9 nie oznacza 90 procent pewności, że tekst jest prawdziwy.
Powiązane pojęcia
- Instrukcja wejściowa dla modelu (Prompt)
- Projektowanie promptów (Prompt engineering)