Definizione
Che cos’è Attention mechanism e come funziona?
Nel Transformer aiuta a collegare parole, porzioni di immagine o altri elementi anche quando sono distanti nella sequenza.
Per ogni token il modello calcola tre vettori, query, key e value: il confronto tra query e key produce punteggi che, normalizzati con softmax, decidono quanto ogni altro token contribuisce al risultato. Più teste di attenzione lavorano in parallelo e catturano relazioni diverse, per esempio sintattiche o di riferimento. Il calcolo cresce con il quadrato della lunghezza della sequenza, ed è questo il motivo per cui i contesti molto lunghi costano di più.
Esempio aziendale
Esempio di Attention mechanism in azienda
Durante la sintesi di un contratto il modello pesa maggiormente clausole, scadenze e riferimenti collegati alla domanda.
Applicazioni
Quando può essere utile
- comprensione del testo
- traduzione
- analisi immagini
- riassunti
- modelli multimodali
Limiti
Quando fare attenzione
- costo quadratico su documenti molto lunghi
- informazioni al centro del contesto meno considerate
- mappe di attenzione lette come spiegazioni
- prestazioni che calano oltre la lunghezza di addestramento
Da non confondere
Attention mechanism: con cosa non va confuso?
L’attenzione è un componente dell’architettura. Non è una spiegazione certa del ragionamento interno del modello.
Dalla definizione al progetto
Cosa può realizzare Agentix con Attention mechanism
Raramente un’azienda deve intervenire sull’attenzione in sé, ma capirne il comportamento cambia il modo di progettare un assistente documentale. Agentix sceglie come suddividere manuali, contratti e capitolati in sezioni, quante passarne al modello e in quale ordine, per evitare che clausole decisive finiscano nella parte del contesto meno considerata.
In pratica configuriamo il recupero delle sezioni rilevanti, misuriamo su domande reali se il modello trova l’informazione indipendentemente dalla sua posizione nel testo e confrontiamo modelli con finestre di contesto diverse. Il risultato è un assistente che risponde citando pagina e paragrafo della fonte.
Valuta il caso d’uso con AgentixRisposte rapide
Domande frequenti su Attention mechanism
Le mappe di attenzione spiegano perché il modello ha risposto così?
Solo in parte. I pesi mostrano quali token sono stati combinati in uno strato, ma il risultato passa per decine di strati e teste. Per giustificare una risposta in azienda è più affidabile far citare al sistema le fonti documentali usate.
Perché un modello perde dettagli in un documento di cento pagine?
Con contesti lunghi l’attenzione si distribuisce su moltissimi token e i passaggi centrali tendono a ricevere meno peso. Spezzare il documento, recuperare solo le sezioni pertinenti con la ricerca semantica e porre domande mirate riduce il problema.
Dal concetto all’applicazione
Vuoi applicare Attention mechanism nella tua azienda?
Partiamo dal processo, dai dati disponibili e dal risultato atteso per definire un primo progetto concreto.