Sprzęt i wdrażanie
Czas do ostatniego tokenu
Time to last token
Inne nazwy i skróty: TTLT, czas do końca odpowiedzi.
Co to jest czas do ostatniego tokenu?
Czas od przyjętego początku pomiaru do otrzymania ostatniego tokenu odpowiedzi.
Zależy między innymi od długości wyniku i obciążenia systemu. Porównywanie go bez uwzględnienia liczby tokenów może być mylące.
Przykład zastosowania
Przy teście podsumowań zespół mierzy 12 sekund do ostatniego tokenu odpowiedzi liczącej 300 tokenów.
O czym pamiętać?
Bez długości odpowiedzi i początku pomiaru wyniki trudno porównać.
Powiązane pojęcia
- Wnioskowanie modelu (Inference)
- Zasoby obliczeniowe (Compute)