Sprzęt i wdrażanie
Metoda kwantyzacji GPTQ
GPTQ
Inne nazwy i skróty: kwantyzacja GPTQ.
Co to jest metoda kwantyzacji gptq?
Nazwa metody kwantyzacji wag wyuczonego modelu z wykorzystaniem przybliżonej informacji o wpływie błędów na wynik.
Jest algorytmem, a nie uniwersalnym formatem wszystkich modeli o niskiej precyzji. Nazwę GPTQ zachowuje się w oryginale.
Jak tłumaczyć ten termin?
Nazwę GPTQ zachowuje się bez tłumaczenia; polski tytuł określa rodzaj metody.
Przykład zastosowania
Zespół przygotowuje skwantyzowane wagi modelu metodą GPTQ i testuje zgodność z docelowym silnikiem inferencji.
O czym pamiętać?
Nie każdy silnik obsługuje każdy wariant zapisu skwantyzowanych wag.
Powiązane pojęcia
- Wnioskowanie modelu (Inference)
- Zasoby obliczeniowe (Compute)