Ocena i benchmarki
Test generowania poprawnego kodu
HumanEval
Inne nazwy i skróty: Human Eval.
Co to jest test generowania poprawnego kodu?
Nazwa benchmarku sprawdzającego generowanie funkcji programistycznych na podstawie opisu.
Wygenerowany kod jest oceniany testami. Poprawne rozwiązanie krótkich zadań nie potwierdza zdolności utrzymywania dużego projektu ani bezpieczeństwa kodu.
Jak tłumaczyć ten termin?
Polski tytuł opisuje przeznaczenie testu. Jego nazwą własną pozostaje HumanEval.
Przykład zastosowania
Model generuje funkcję na podstawie krótkiego opisu, a zestaw testów sprawdza jej zachowanie dla kilku wejść.
O czym pamiętać?
Wynik krótkich zadań nie zastępuje oceny bezpieczeństwa i utrzymywania całego projektu.
Powiązane pojęcia
- Ocena jakości systemu AI (AI evaluation)
- Test porównawczy (Benchmark)