Dane i reprezentacje
Token
Token
Inne nazwy i skróty: tokens, jednostka tokenizacji.
Co to jest token?
Jednostka reprezentacji przetwarzana przez model, na przykład fragment słowa, znak lub element zapisu danych innej modalności.
Token nie ma stałej długości i nie jest synonimem słowa. Sposób podziału zależy od tokenizatora.
Przykład zastosowania
To samo polskie zdanie może zajmować różną liczbę tokenów w dwóch modelach.
O czym pamiętać?
Sposób podziału zależy od tokenizatora.
Powiązane pojęcia
- Słownik tokenów (Token vocabulary)
- Tokenizacja (Tokenization)
- Tokenizator (Tokenizer)