Sprzęt i wdrażanie
Przetwarzanie partiami
Batching
Inne nazwy i skróty: batch processing, batch, przetwarzanie wsadowe.
Co to jest przetwarzanie partiami?
Wspólne przetwarzanie kilku przykładów lub zapytań w celu lepszego wykorzystania sprzętu.
Może zwiększać przepustowość, lecz oczekiwanie na zebranie partii wydłuża odpowiedź dla pojedynczego użytkownika.
Przykład zastosowania
Serwer łączy kilkanaście oczekujących podsumowań w partię obliczeń wykonywaną na GPU.
O czym pamiętać?
Większa przepustowość może oznaczać dłuższe oczekiwanie pojedynczego użytkownika.
Powiązane pojęcia
- Wnioskowanie modelu (Inference)
- Zasoby obliczeniowe (Compute)