Architektury modeli
Mechanizm uwagi
Attention mechanism
Inne nazwy i skróty: attention, uwaga.
Co to jest mechanizm uwagi?
Mechanizm, który oblicza, jak silnie różne elementy danych powinny wpływać na reprezentację przetwarzanego elementu.
W modelach językowych pomaga uwzględniać zależności między tokenami; nie oznacza ludzkiej uwagi ani świadomości.
Przykład zastosowania
Model analizujący reklamację wiąże słowo „uszkodzony” z nazwą części występującą wcześniej w zgłoszeniu.
O czym pamiętać?
Wagi uwagi nie są same w sobie pełnym wyjaśnieniem decyzji modelu.
Powiązane pojęcia
- Model sztucznej inteligencji (Artificial intelligence model)
- Sieć neuronowa (Neural network)