Architektury modeli
Uwaga krzyżowa
Cross-attention
Inne nazwy i skróty: cross attention.
Co to jest uwaga krzyżowa?
Mechanizm uwagi łączący informacje z dwóch odrębnych reprezentacji.
Na przykład dekoder może wybierać informacje z wyniku enkodera. Bywa wykorzystywany także do łączenia tekstowych instrukcji z reprezentacją obrazu.
Przykład zastosowania
Dekoder tłumaczenia wybiera informacje z reprezentacji zdania przygotowanej przez enkoder.
O czym pamiętać?
Powiązanie reprezentacji nie gwarantuje wiernego tłumaczenia każdego szczegółu.
Powiązane pojęcia
- Model sztucznej inteligencji (Artificial intelligence model)
- Sieć neuronowa (Neural network)