Dane i reprezentacje
Dzielenie materiału na fragmenty
Chunking
Inne nazwy i skróty: fragmentacja dokumentów.
Co to jest dzielenie materiału na fragmenty?
Podział materiału na części przeznaczone do indeksowania lub przekazania modelowi.
Granice i rozmiary fragmentów wpływają na zachowanie kontekstu oraz trafność wyszukiwania. Podział na fragmenty dokumentu jest innym poziomem przetwarzania niż tokenizacja.
Przykład zastosowania
Procedura zostaje podzielona na sekcje wraz z tytułami, zamiast cięcia w połowie zdania.
O czym pamiętać?
Podział na fragmenty dokumentu jest innym poziomem przetwarzania niż tokenizacja.
Powiązane pojęcia
- Generowanie wspomagane wyszukiwaniem (Retrieval-augmented generation)
- Tokenizacja (Tokenization)