Architektury modeli
Samouwaga
Self-attention
Inne nazwy i skróty: self attention, uwaga wewnątrz sekwencji.
Co to jest samouwaga?
Odmiana mechanizmu uwagi, w której informacje porównuje się w obrębie tej samej sekwencji lub reprezentacji.
Pozwala powiązać przetwarzany element z innymi elementami wejścia. W modelach autoregresyjnych maska może blokować dostęp do przyszłych tokenów.
Przykład zastosowania
Podczas analizy zdania model łączy zaimek z wcześniejszym rzeczownikiem z tej samej sekwencji.
O czym pamiętać?
Siła powiązania między tokenami nie jest dowodem świadomego rozumienia tekstu.
Powiązane pojęcia
- Model sztucznej inteligencji (Artificial intelligence model)
- Sieć neuronowa (Neural network)