Ocena i benchmarki
Skuteczność w co najmniej jednej z k prób
Pass@k
Inne nazwy i skróty: pass at k, pass@k.
Co to jest skuteczność w co najmniej jednej z k prób?
Miara opisująca szansę uzyskania przynajmniej jednego poprawnego rozwiązania spośród k wygenerowanych kandydatów.
Często stosuje się ją w testach kodowania. Nie oznacza, że system potrafi sam wskazać poprawnego kandydata bez testów.
Przykład zastosowania
Dla każdego zadania programistycznego system tworzy pięć kandydatów, a test sprawdza, czy choć jeden jest poprawny.
O czym pamiętać?
Wysoki wynik dla pięciu prób nie mówi, czy pierwsza odpowiedź będzie poprawna.
Powiązane pojęcia
- Ocena jakości systemu AI (AI evaluation)
- Test porównawczy (Benchmark)