Promptowanie i generowanie
Losowanie z k najbardziej prawdopodobnych tokenów
Top-k sampling
Inne nazwy i skróty: topK, top-k.
Co to jest losowanie z k najbardziej prawdopodobnych tokenów?
Ograniczenie losowania następnego tokenu do k kandydatów o najwyższym prawdopodobieństwie.
Liczba dopuszczonych kandydatów jest stała dla tego kroku, a nie dobierana według sumy ich prawdopodobieństw jak w top-p.
Przykład zastosowania
Przy każdym kroku generowania opisów model losuje token tylko spośród 20 najbardziej prawdopodobnych kandydatów.
O czym pamiętać?
Stałe k może zawężać wybór niezależnie od rzeczywistej niepewności rozkładu.
Powiązane pojęcia
- Instrukcja wejściowa dla modelu (Prompt)
- Projektowanie promptów (Prompt engineering)