Zastosowania i narzędzia
Narzędzie do tokenizacji podwyrazowej
SentencePiece
Inne nazwy i skróty: sentence piece.
Co to jest narzędzie do tokenizacji podwyrazowej?
Nazwa biblioteki do uczenia i stosowania tokenizatorów bez wymogu wcześniejszego podziału tekstu na wyrazy.
Obsługuje różne algorytmy, więc SentencePiece nie jest nazwą jednego sposobu łączenia tokenów. Nazwy własnej nie tłumaczy się.
Jak tłumaczyć ten termin?
SentencePiece to nazwa własna; nie tłumaczy się jej dosłownie na „kawałek zdania”.
Przykład zastosowania
Zespół uczy tokenizator SentencePiece na dokumentach branżowych i mierzy liczbę tokenów dla polskich nazw części.
O czym pamiętać?
Nazwa biblioteki nie wskazuje, czy konfiguracja używa BPE, czy innego algorytmu.
Powiązane pojęcia
- Model sztucznej inteligencji (Artificial intelligence model)
- Uczenie maszynowe (Machine learning)