Sprzęt i wdrażanie
Opóźnienie odpowiedzi
Latency
Inne nazwy i skróty: latencja, opóźnienie.
Co to jest opóźnienie odpowiedzi?
Czas oczekiwania związany z obsługą zapytania.
Można mierzyć go do pierwszego tokenu, do końca odpowiedzi lub dla innego etapu. Dlatego porównując systemy, trzeba wskazać początek i koniec pomiaru.
Przykład zastosowania
Zespół mierzy osobno oczekiwanie w kolejce, pierwszy token i całkowity czas podsumowania dokumentu.
O czym pamiętać?
Średnia może ukrywać długie czasy odpowiedzi doświadczane przez część użytkowników.
Powiązane pojęcia
- Wnioskowanie modelu (Inference)
- Zasoby obliczeniowe (Compute)