Dane i reprezentacje
Słownik tokenów
Token vocabulary
Inne nazwy i skróty: vocabulary, słownik modelu.
Co to jest słownik tokenów?
Zbiór tokenów i identyfikatorów obsługiwanych przez dany tokenizator lub model.
Zawiera elementy techniczne i fragmenty słów, a nie wyłącznie hasła językowe. Nie jest listą wszystkich pojęć, o których model może pisać.
Przykład zastosowania
Zespół sprawdza, czy nazwa części jest jednym tokenem, czy sekwencją kilku elementów słownika tokenizatora.
O czym pamiętać?
Brak całego słowa w słowniku nie oznacza, że model nie potrafi go zapisać z fragmentów.
Powiązane pojęcia
- Dane treningowe (Training data)
- Reprezentacja wektorowa (Embedding)