Dane i reprezentacje
Tokenizacja
Tokenization
Inne nazwy i skróty: podział na tokeny.
Co to jest tokenizacja?
Przekształcenie danych, zwykle tekstu, w sekwencję tokenów i ich identyfikatorów.
Różne tokenizatory mogą inaczej dzielić ten sam polski tekst. Ma to znaczenie dla limitów kontekstu, kosztu i porównywania modeli.
Przykład zastosowania
Przed podsumowaniem dokumentu system przelicza polski tekst na tokeny używanego modelu, aby sprawdzić limit kontekstu.
O czym pamiętać?
Liczby tokenów z jednego tokenizatora nie należy przenosić bez sprawdzenia do innego.
Powiązane pojęcia
- Dane treningowe (Training data)
- Reprezentacja wektorowa (Embedding)