Dane i reprezentacje
Tokenizacja fragmentami słów
WordPiece
Inne nazwy i skróty: word piece.
Co to jest tokenizacja fragmentami słów?
Nazwa metody i rodziny tokenizatorów wykorzystujących słownik jednostek podwyrazowych.
Znane wyrazy mogą stanowić pojedynczy token, a inne są dzielone na fragmenty. Nazwę WordPiece zwykle zachowuje się w oryginale.
Jak tłumaczyć ten termin?
WordPiece to nazwa własna. Polski tytuł objaśnia jej zastosowanie, a nie oficjalną polską nazwę.
Przykład zastosowania
Rzadki termin branżowy zostaje podzielony na kilka jednostek podwyrazowych rozpoznawanych przez tokenizator WordPiece.
O czym pamiętać?
Podział techniczny nie musi pokrywać się z podziałem słowa znanym z gramatyki.
Powiązane pojęcia
- Dane treningowe (Training data)
- Reprezentacja wektorowa (Embedding)