Sprzęt i wdrażanie
Dekodowanie spekulacyjne
Speculative decoding
Inne nazwy i skróty: generowanie spekulacyjne.
Co to jest dekodowanie spekulacyjne?
Przyspieszanie generowania przez proponowanie kilku tokenów tańszą metodą i weryfikowanie ich modelem docelowym.
Poprawnie zaprojektowany algorytm może zachować rozkład wyników modelu docelowego. Nie oznacza swobodnego dopisywania niesprawdzonych odpowiedzi.
Przykład zastosowania
Mniejszy model proponuje kilka tokenów projektu odpowiedzi, a większy model sprawdza je w jednym kroku.
O czym pamiętać?
Korzyść zależy od liczby akceptowanych propozycji i narzutu weryfikacji.
Powiązane pojęcia
- Wnioskowanie modelu (Inference)
- Zasoby obliczeniowe (Compute)