Uczenie i dostrajanie
Uczenie ze wzmocnieniem na podstawie ocen ludzi
Reinforcement learning from human feedback
Inne nazwy i skróty: RLHF, informacja zwrotna od ludzi.
Co to jest uczenie ze wzmocnieniem na podstawie ocen ludzi?
Podejście wykorzystujące ludzkie oceny do zbudowania sygnału nagrody, który następnie kieruje uczeniem modelu.
Często obejmuje model nagrody i optymalizację polityki. Samo zbieranie opinii użytkowników nie jest jeszcze RLHF.
Przykład zastosowania
Ludzie porównują odpowiedzi asystenta, model nagrody uczy się ich ocen, a dalsza optymalizacja korzysta z tego sygnału.
O czym pamiętać?
Preferencje oceniających mogą być niespójne i nie obejmować wszystkich grup użytkowników.
Powiązane pojęcia
- Parametry modelu (Model parameters)
- Uczenie maszynowe (Machine learning)