Promptowanie i generowanie
Ustawienia generowania
Generation settings
Inne nazwy i skróty: sampling parameters, prompting parameters, parametry generowania.
Czym są ustawienia generowania?
Opcje przekazywane przy wywołaniu modelu, na przykład temperatura, top-p i limit odpowiedzi.
Sterują sposobem tworzenia wyniku bez uczenia nowych wag. Ich zakres i dostępność zależą od interfejsu oraz modelu.
Przykład zastosowania
Aplikacja ogranicza długość odpowiedzi, ustawiając limit tokenów dla danego wywołania.
O czym pamiętać?
Ich zakres i dostępność zależą od interfejsu oraz modelu.
Powiązane pojęcia
- Instrukcja wejściowa dla modelu (Prompt)
- Projektowanie promptów (Prompt engineering)