Architektury modeli
Kodowanie pozycyjne
Positional encoding
Inne nazwy i skróty: position encoding, informacja o pozycji.
Co to jest kodowanie pozycyjne?
Sposób przekazania modelowi informacji o kolejności lub względnym położeniu elementów.
Jest potrzebny, ponieważ sama operacja uwagi nie określa porządku tokenów. Kodowanie może być stałe, uczone albo oparte na przekształceniach zależnych od pozycji.
Przykład zastosowania
Model przetwarza zdania „klient zwrócił towar” i „towar zwrócił klient”, uwzględniając pozycje tokenów.
O czym pamiętać?
Sposób kodowania pozycji może ograniczać działanie poza długościami widzianymi w treningu.
Powiązane pojęcia
- Model sztucznej inteligencji (Artificial intelligence model)
- Sieć neuronowa (Neural network)