Ocena i benchmarki
Ocena jakości systemu AI
AI evaluation
Inne nazwy i skróty: ewaluacja, evals, evaluation.
Co to jest ocena jakości systemu ai?
Systematyczne sprawdzanie jakości systemu według określonych kryteriów i na dobranych przykładach.
Może obejmować poprawność, kompletność, bezpieczeństwo, koszt i czas. Ocena całej aplikacji powinna uwzględniać również wyszukiwanie danych i narzędzia, nie tylko model.
Przykład zastosowania
Zespół sprawdza sto przykładowych reklamacji i porównuje odpowiedzi z kryteriami obsługi.
O czym pamiętać?
Ocena całej aplikacji powinna uwzględniać również wyszukiwanie danych i narzędzia, nie tylko model.
Powiązane pojęcia
- Dane testowe (Test data)
- Test porównawczy (Benchmark)