Promptowanie i generowanie
Okno kontekstowe
Context window
Inne nazwy i skróty: okno kontekstu, context length.
Co to jest okno kontekstowe?
Limit reprezentacji, którą model może uwzględniać w pojedynczym przetwarzaniu, zwykle wyrażany w tokenach.
Sposób liczenia wejścia, wyjścia i dodatkowych tokenów zależy od modelu. Duże okno nie gwarantuje równomiernego wykorzystania całej zawartości.
Przykład zastosowania
Przed przekazaniem obszernej instrukcji aplikacja sprawdza, czy dokument i odpowiedź zmieszczą się w limicie.
O czym pamiętać?
Duże okno nie gwarantuje równomiernego wykorzystania całej zawartości.
Powiązane pojęcia
- Instrukcja wejściowa dla modelu (Prompt)
- Projektowanie promptów (Prompt engineering)