Sprzęt i wdrażanie
Udostępnianie modelu do obsługi zapytań
Model serving
Inne nazwy i skróty: serving, serwowanie modelu.
Co to jest udostępnianie modelu do obsługi zapytań?
Warstwa uruchamiająca model i obsługująca zapytania aplikacji.
Obejmuje między innymi kolejki, wykorzystanie akceleratorów i zwracanie wyników. To szerszy proces operacyjny niż pojedyncze wykonanie inferencji.
Przykład zastosowania
Serwer przyjmuje zapytania o podsumowania, ustawia je w kolejce, wykonuje model i zwraca odpowiedzi aplikacji.
O czym pamiętać?
Sprawny model może działać wolno przy źle dobranych limitach kolejki i obciążeniu.
Powiązane pojęcia
- Wnioskowanie modelu (Inference)
- Zasoby obliczeniowe (Compute)