Uczenie i dostrajanie
Maskowane modelowanie języka
Masked language modeling
Inne nazwy i skróty: MLM.
Co to jest maskowane modelowanie języka?
Zadanie uczenia polegające na odtwarzaniu ukrytych fragmentów tekstu na podstawie pozostałego kontekstu.
Pozwala uczyć reprezentacji językowych. Nie jest tym samym co generowanie kolejnych tokenów wyłącznie na podstawie poprzednich.
Przykład zastosowania
W zdaniu „zamówienie dotrze w [MASK]” model podczas uczenia odtwarza ukryty fragment z otaczającego tekstu.
O czym pamiętać?
Dobra rekonstrukcja braków nie oznacza zdolności samodzielnego prowadzenia rozmowy.
Powiązane pojęcia
- Parametry modelu (Model parameters)
- Uczenie maszynowe (Machine learning)