Ocena i benchmarki
Test wielozadaniowej wiedzy językowej
Massive Multitask Language Understanding
Inne nazwy i skróty: MMLU.
Co to jest test wielozadaniowej wiedzy językowej?
Nazwa benchmarku pytań wielokrotnego wyboru z wielu dziedzin wiedzy.
Wynik opisuje skuteczność w konkretnym zestawie testowym, a nie całokształt zdolności modelu. Znaczenie mają wersja testu, sposób zadawania pytań i ewentualne skażenie danych.
Jak tłumaczyć ten termin?
Polski tytuł jest opisem benchmarku. Jego nazwą własną pozostaje MMLU.
Przykład zastosowania
Zespół analizuje odsetek poprawnych odpowiedzi modelu na pytania wyboru z wielu dziedzin wiedzy.
O czym pamiętać?
Wysoki wynik benchmarku nie dowodzi poprawności odpowiedzi na firmowe procedury.
Powiązane pojęcia
- Ocena jakości systemu AI (AI evaluation)
- Test porównawczy (Benchmark)