Architektury modeli
Mieszanka ekspertów
Mixture of experts
Inne nazwy i skróty: MoE, mixture-of-experts.
Co to jest mieszanka ekspertów?
Architektura łącząca kilka wyspecjalizowanych komponentów i mechanizm kierujący dane do odpowiednich ekspertów.
W odmianie rzadkiej dla danego tokenu pracuje tylko część ekspertów. Nie oznacza to współpracy kilku osobnych chatbotów.
Przykład zastosowania
W modelu z rzadką mieszanką ekspertów mechanizm routingu wybiera część modułów do przetworzenia danego tokenu.
O czym pamiętać?
Liczba wszystkich parametrów nie odpowiada liczbie parametrów aktywnych w każdym kroku.
Powiązane pojęcia
- Architektura transformerowa (Transformer)
- Parametry modelu (Model parameters)