Sprzęt i wdrażanie
Czas do pierwszego tokenu
Time to first token
Inne nazwy i skróty: TTFT.
Co to jest czas do pierwszego tokenu?
Czas od określonego momentu wysłania lub przyjęcia zapytania do otrzymania pierwszego tokenu odpowiedzi.
Obejmuje różne składniki zależnie od pomiaru, na przykład kolejkę i przygotowanie kontekstu. Nie opisuje czasu wygenerowania całej odpowiedzi.
Przykład zastosowania
Interfejs wyświetla pierwszy fragment odpowiedzi po 800 milisekundach, choć cała odpowiedź powstaje przez 6 sekund.
O czym pamiętać?
Krótki czas do pierwszego tokenu nie gwarantuje krótkiego czasu całej operacji.
Powiązane pojęcia
- Wnioskowanie modelu (Inference)
- Zasoby obliczeniowe (Compute)