Dane i reprezentacje
Kodowanie przez łączenie par
Byte-pair encoding
Inne nazwy i skróty: BPE, byte pair encoding.
Co to jest kodowanie przez łączenie par?
Metoda budowania reprezentacji podwyrazowych przez stopniowe łączenie często występujących par symboli.
W tokenizacji umożliwia zapis wielu słów za pomocą wspólnych fragmentów. Konkretna implementacja może działać na bajtach lub innych jednostkach początkowych.
Przykład zastosowania
Tokenizator zapisuje rzadką nazwę części jako kilka częstszych fragmentów zamiast jednego nieznanego słowa.
O czym pamiętać?
Podział jest zależny od konkretnego słownika i nie musi odpowiadać polskim morfemom.
Powiązane pojęcia
- Dane treningowe (Training data)
- Reprezentacja wektorowa (Embedding)