Dane i reprezentacje
Tokenizator
Tokenizer
Inne nazwy i skróty: narzędzie tokenizacji.
Co to jest tokenizator?
Komponent zamieniający dane na tokeny i ich identyfikatory według ustalonych reguł oraz słownika.
Często umożliwia też odtworzenie tekstu z identyfikatorów. Należy odróżniać narzędzie, czyli tokenizator, od czynności, czyli tokenizacji.
Przykład zastosowania
Aplikacja używa tokenizatora zgodnego z modelem, aby oszacować długość notatki przed wysłaniem.
O czym pamiętać?
Niezgodny tokenizator może dać mylne oszacowanie długości wejścia.
Powiązane pojęcia
- Dane treningowe (Training data)
- Reprezentacja wektorowa (Embedding)