Sprzęt i wdrażanie
Kwantyzacja modelu
Model quantization
Inne nazwy i skróty: quantization, obniżenie precyzji.
Co to jest kwantyzacja modelu?
Zapis wybranych wartości modelu lub jego obliczeń z mniejszą precyzją liczbową.
Może ograniczyć zużycie pamięci i przyspieszyć działanie, ale wpływ na szybkość oraz jakość zależy od sprzętu, metody i zadania.
Przykład zastosowania
Zespół porównuje model o wagach zapisanych z większą i mniejszą precyzją na tych samych polskich zgłoszeniach.
O czym pamiętać?
Mniejszy plik nie gwarantuje przyspieszenia na każdym urządzeniu.
Powiązane pojęcia
- Wnioskowanie modelu (Inference)
- Zasoby obliczeniowe (Compute)