Sprzęt i wdrażanie
Pamięć podręczna kluczy i wartości
Key–value cache
Inne nazwy i skróty: KV cache, KV-cache.
Co to jest pamięć podręczna kluczy i wartości?
Zachowanie pośrednich kluczy i wartości mechanizmu uwagi, aby nie obliczać ich ponownie dla wcześniejszych tokenów podczas generowania.
Przyspiesza kolejne kroki, ale wymaga pamięci rosnącej wraz z kontekstem. Nie jest pamięcią osobistych preferencji użytkownika.
Przykład zastosowania
Podczas generowania długiego raportu silnik ponownie wykorzystuje klucze i wartości wcześniejszych tokenów.
O czym pamiętać?
Pamięć ta rośnie z kontekstem i nie jest trwałą bazą faktów o użytkowniku.
Powiązane pojęcia
- Wnioskowanie modelu (Inference)
- Zasoby obliczeniowe (Compute)