Sprzęt i wdrażanie
Format plików modeli GGUF
GGUF
Inne nazwy i skróty: plik GGUF.
Co to jest Format plików modeli GGUF?
Format przechowywania tensorów modelu i potrzebnych metadanych, stosowany między innymi w lokalnym uruchamianiu modeli.
Plik może zawierać różne rodzaje wag, także skwantyzowane. GGUF jest formatem, a nie osobnym algorytmem kwantyzacji.
Jak tłumaczyć ten termin?
GGUF jest nazwą formatu. Polski opis nie stanowi rozwinięcia tego skrótu.
Przykład zastosowania
Administrator wybiera plik GGUF zgodny z lokalnym silnikiem inferencji i sprawdza wymagania pamięciowe przed uruchomieniem.
O czym pamiętać?
Samo rozszerzenie pliku nie określa jakości modelu ani rodzaju kwantyzacji.
Powiązane pojęcia
- Wnioskowanie modelu (Inference)
- Zasoby obliczeniowe (Compute)