Uczenie i dostrajanie
Dostrajanie za pomocą macierzy niskiego rzędu
Low-rank adaptation
Inne nazwy i skróty: LoRA, adaptacja niskiego rzędu.
Co to jest dostrajanie za pomocą macierzy niskiego rzędu?
Metoda dostrajania dodająca niewielkie uczone macierze do wybranych przekształceń modelu przy zamrożeniu jego bazowych wag.
Ogranicza liczbę aktualizowanych parametrów. Wielkość oszczędności zależy od konfiguracji, więc nie ma jednego stałego mnożnika.
Jak tłumaczyć ten termin?
Polski tytuł objaśnia metodę. W praktyce najczęściej używa się nazwy LoRA.
Przykład zastosowania
Zespół dostraja niewielkie dodatkowe macierze, aby model lepiej rozpoznawał nazwy części z dokumentacji zakładu.
O czym pamiętać?
Zmniejszenie liczby uczonych parametrów nie oznacza identycznej oszczędności czasu inferencji.
Powiązane pojęcia
- Parametry modelu (Model parameters)
- Uczenie maszynowe (Machine learning)