Uczenie i dostrajanie
Bezpośrednia optymalizacja preferencji
Direct preference optimization
Inne nazwy i skróty: DPO.
Co to jest bezpośrednia optymalizacja preferencji?
Metoda dostrajania na parach odpowiedzi preferowanych i odrzucanych, bez typowej osobnej pętli uczenia polityki z modelem nagrody.
Cel treningowy jest wyprowadzony z modelowania preferencji. DPO nie jest po prostu inną nazwą PPO.
Przykład zastosowania
Eksperci wybierają lepszą z dwóch odpowiedzi na reklamację; pary preferencji służą do dostrojenia modelu metodą DPO.
O czym pamiętać?
Preferencje oceniających mogą utrwalać błędy lub jednostronny styl odpowiedzi.
Powiązane pojęcia
- Parametry modelu (Model parameters)
- Uczenie maszynowe (Machine learning)