Architektury modeli
Uwaga wielogłowicowa
Multi-head attention
Inne nazwy i skróty: multihead attention.
Co to jest uwaga wielogłowicowa?
Połączenie kilku mechanizmów uwagi obliczanych w różnych uczonych przestrzeniach reprezentacji.
Poszczególne głowice mogą wychwytywać odmienne zależności. Może działać jako uwaga wewnątrz sekwencji (multi-head self-attention) lub krzyżowa. Większa liczba głowic sama w sobie nie zapewnia lepszej jakości modelu.
Przykład zastosowania
Kilka głowic w modelu analizuje różne zależności między fragmentami opisu reklamacji.
O czym pamiętać?
Większa liczba głowic sama w sobie nie zapewnia wyższej jakości.
Powiązane pojęcia
- Mechanizm uwagi (Attention mechanism)
- Samouwaga (Self-attention)
- Uwaga krzyżowa (Cross-attention)