Definizione
Che cos’è Chunking e come funziona?
Dimensione e sovrapposizione devono rispettare la struttura del contenuto. Tagli sbagliati separano informazioni che dovrebbero restare unite.
Valori di partenza frequenti sono chunk da 200 a 800 token con una sovrapposizione del 10-20%, poi da verificare con domande reali. Il chunking per struttura segue titoli, paragrafi e procedure invece di tagliare a lunghezza fissa. Le tabelle vanno tenute intere con la loro intestazione, e ogni chunk può portare con sé il titolo della sezione per non perdere il contesto.
Esempio aziendale
Esempio di Chunking in azienda
Un manuale viene diviso per sezioni e procedure, conservando titolo, pagina, versione e codice macchina.
Applicazioni
Quando può essere utile
- RAG
- embedding
- ricerca documentale
- analisi di file lunghi
- gestione del contesto
Limiti
Quando fare attenzione
- procedura tagliata a metà tra due chunk
- tabelle spezzate e separate dall’intestazione
- chunk troppo grandi che diluiscono la similarità
- metadati di versione persi durante la suddivisione
Da non confondere
Chunking: con cosa non va confuso?
Il chunking prepara le unità di contenuto. L’embedding le trasforma in rappresentazioni numeriche.
Dalla definizione al progetto
Cosa può realizzare Agentix con Chunking
Quando un assistente risponde male, spesso il problema è a monte, nella suddivisione dei documenti. Agentix analizza i formati reali del cliente, come manuali in PDF, schede tecniche, offerte in Word, e definisce una strategia di chunking diversa per ciascun tipo.
Le varianti vengono confrontate su un set di domande con risposta nota, misurando quante volte il passaggio corretto finisce tra i primi risultati. La configurazione scelta viene documentata e applicata in automatico a ogni nuovo documento caricato, con titolo, pagina e versione conservati nei metadati.
Integra dati, software e AIRisposte rapide
Domande frequenti su Chunking
Quanto deve essere grande un chunk?
Non c’è un valore valido sempre. Per FAQ e schede brevi bastano poche centinaia di token; per manuali tecnici si usano chunk più lunghi o la tecnica parent-child, che cerca su pezzi piccoli e passa al modello la sezione intera che li contiene.
Cosa succede ai PDF con tabelle e immagini?
L’estrazione del testo può mescolare colonne e perdere le righe delle tabelle. Servono parser che riconoscono il layout, eventualmente OCR, e descrizioni testuali per schemi e immagini importanti. Il chunking va fatto dopo questa conversione, non sul testo estratto alla cieca.
Dal concetto all’applicazione
Vuoi applicare Chunking nella tua azienda?
Partiamo dal processo, dai dati disponibili e dal risultato atteso per definire un primo progetto concreto.