Uczenie i dostrajanie
Dostrajanie z ograniczoną liczbą uczonych parametrów
Parameter-efficient fine-tuning
Inne nazwy i skróty: PEFT, parameter-efficient tuning, parameter-efficient fine tuning.
Co to jest dostrajanie z ograniczoną liczbą uczonych parametrów?
Rodzina metod adaptacji modelu przez uczenie niewielkiej części parametrów lub dodatkowych komponentów.
Przykładem jest LoRA. Zmniejsza koszt przechowywania wariantów i treningu, ale nie zawsze redukuje w takim samym stopniu koszt inferencji.
Przykład zastosowania
Firma testuje dostrojenie małego modułu do rozpoznawania branżowych zgłoszeń zamiast aktualizować cały model.
O czym pamiętać?
Oszczędność parametrów nie usuwa potrzeby dobrych danych i niezależnej oceny.
Powiązane pojęcia
- Parametry modelu (Model parameters)
- Uczenie maszynowe (Machine learning)