Promptowanie i generowanie
Limit tokenów odpowiedzi
Maximum output tokens
Inne nazwy i skróty: maxOutputTokens, max output tokens, maksymalna długość odpowiedzi.
Co to jest limit tokenów odpowiedzi?
Ustawienie ograniczające liczbę tokenów, które model może wygenerować w danym wywołaniu.
Nie gwarantuje osiągnięcia tej długości ani zakończenia odpowiedzi pełnym zdaniem. Zasady wliczania tokenów wewnętrznych zależą od modelu.
Przykład zastosowania
Aplikacja ogranicza projekt podsumowania do 200 tokenów, aby zmieścił się w krótkim panelu.
O czym pamiętać?
Odpowiedź może zakończyć się w połowie zdania lub przed podaniem ważnego punktu.
Powiązane pojęcia
- Instrukcja wejściowa dla modelu (Prompt)
- Projektowanie promptów (Prompt engineering)