Ocena i benchmarki
Test porównawczy
Benchmark
Inne nazwy i skróty: benchmark AI, zestaw porównawczy.
Co to jest test porównawczy?
Zestaw zadań i zasad pomiaru służący porównywaniu rozwiązań w ustalonych warunkach.
Wynik jest informacją o określonym teście, a nie ogólnym certyfikatem jakości. W zastosowaniu biznesowym potrzebne są także przykłady reprezentujące rzeczywistą pracę.
Przykład zastosowania
Dwa modele rozwiązują ten sam zestaw zadań kodowania, przy tej samej liczbie prób.
O czym pamiętać?
W zastosowaniu biznesowym potrzebne są także przykłady reprezentujące rzeczywistą pracę.
Powiązane pojęcia
- Ocena jakości systemu AI (AI evaluation)
- Test generowania poprawnego kodu (HumanEval)