LOGIN
Quando si utilizza un chatbot basato sull'intelligenza artificiale, può capitare di portare avanti conversazioni molto lunghe, caricare documenti oppure fornire numerose informazioni prima di formulare una richiesta. Il sistema, però, non può necessariamente prendere in considerazione una quantità illimitata di contenuti contemporaneamente.
Entra così in gioco la cosiddetta finestra di contesto, o context window, uno dei parametri che caratterizzano i modelli linguistici di grandi dimensioni, gli LLM alla base di molti degli strumenti di intelligenza artificiale generativa.
In termini semplici, la finestra di contesto indica quante informazioni il modello può avere a disposizione contemporaneamente durante l'elaborazione di una richiesta. Più è ampia, maggiore può essere la quantità di contenuto che l'AI riesce a prendere in considerazione nello stesso momento.
Le dimensioni non vengono però misurate direttamente in parole o pagine, ma generalmente in token. Capire cosa sono e quale rapporto hanno con la finestra di contesto aiuta anche a comprendere meglio perché un chatbot può gestire un documento molto lungo, mantenere il filo di una conversazione articolata oppure, in determinate circostanze, non avere più a disposizione alcune informazioni precedenti.
Cos'è la finestra di contesto dell'intelligenza artificiale
La finestra di contesto può essere immaginata come una sorta di spazio di lavoro temporaneo dell'intelligenza artificiale.
Quando viene inviata una richiesta a un modello, questo deve elaborare le informazioni che gli vengono fornite per generare una risposta pertinente. Il contesto può comprendere il prompt dell'utente, le parti precedenti della conversazione che vengono fornite nuovamente al modello, documenti o altri contenuti messi a sua disposizione e ulteriori istruzioni necessarie al funzionamento dell'applicazione.
Tutto questo deve rientrare nei limiti previsti dal modello. Una finestra di contesto da 128.000 token, ad esempio, permette di gestire una quantità di informazioni molto maggiore rispetto a una da 8.000 o 32.000 token. I modelli più recenti possono spingersi ancora oltre.
Non bisogna però confondere la finestra di contesto con la quantità di informazioni utilizzate per addestrare un modello o con il suo knowledge cutoff. Sono concetti differenti.
Il knowledge cutoff indica, semplificando, fino a quale periodo arrivano le conoscenze acquisite durante l'addestramento. La finestra di contesto riguarda invece le informazioni disponibili al modello durante una determinata elaborazione.
Cosa sono i token e cosa c'entrano con la finestra di contesto
Per comprendere il funzionamento della context window bisogna sapere cosa sono i token.
I modelli linguistici non elaborano un testo esattamente come lo leggiamo noi. Prima di processarlo, lo suddividono in unità chiamate token. Un token può corrispondere a una parola intera, a una sua parte, a un segno di punteggiatura o ad altri elementi del testo. La suddivisione dipende dal sistema di tokenizzazione utilizzato dal modello e dalla lingua.
Per questo motivo non esiste una conversione universale tra token e numero di parole.
Se un modello dispone di una determinata finestra di contesto, sono quindi i token e non semplicemente il numero di caratteri o di pagine a determinare quante informazioni possono essere elaborate.
Bisogna inoltre distinguere tra input token e output token. I primi sono quelli contenuti nella richiesta fornita al modello, mentre gli output token vengono generati dal sistema per costruire la risposta. A seconda del modello, esistono limiti relativi all'input, all'output e alla quantità complessiva di contesto gestibile.
Questo spiega perché due documenti con lo stesso numero di pagine potrebbero non occupare necessariamente la stessa quantità di contesto.
A cosa serve una finestra di contesto più grande
Una finestra di contesto ampia consente innanzitutto di fornire all'AI più informazioni contemporaneamente.
Un esempio è l'analisi di documenti. Con una context window sufficientemente grande, un modello può ricevere testi molto estesi e utilizzarne diverse parti per rispondere alle domande dell'utente, fare confronti, individuare informazioni o produrre sintesi.
Lo stesso principio vale per la programmazione. Un modello che può elaborare una grande quantità di codice contemporaneamente ha potenzialmente più elementi per comprendere le relazioni tra diversi file e componenti di un progetto.
La finestra di contesto è importante anche nelle conversazioni. Se l'applicazione fornisce al modello i messaggi precedenti, questo può utilizzarli per interpretare le richieste successive. Diventa così possibile fare riferimento a un'informazione fornita molti messaggi prima senza doverla necessariamente riscrivere.
Un contesto ampio può essere particolarmente utile anche per gli agenti AI, che possono dover combinare istruzioni, risultati ottenuti attraverso strumenti, documenti e informazioni raccolte durante più passaggi prima di completare un'attività.
La dimensione della finestra di contesto non indica però, da sola, quanto un modello sia intelligente o preciso.
Cosa succede quando viene superata la finestra di contesto
La context window ha una dimensione massima e, una volta raggiunta, l'applicazione deve gestire le informazioni che non possono più essere mantenute tutte contemporaneamente.
Il comportamento esatto varia a seconda del modello e del servizio utilizzato. Una piattaforma può, ad esempio, escludere parte dei contenuti precedenti, sintetizzarli, selezionare soltanto quelli considerati rilevanti oppure impedire di inviare una richiesta che supera il limite previsto.
È anche per questo che, durante conversazioni particolarmente lunghe, può capitare che un chatbot non utilizzi più perfettamente un dettaglio indicato molto tempo prima.
Non significa necessariamente che il sistema abbia "dimenticato" nello stesso modo in cui dimentica una persona: quell'informazione potrebbe semplicemente non essere presente nel contesto fornito al modello per la nuova risposta.
Le moderne applicazioni AI possono utilizzare tecniche di gestione del contesto proprio per ridurre questo problema, selezionando e organizzando le informazioni più utili invece di inserire indiscriminatamente tutto ciò che è stato prodotto in precedenza.
Finestra di contesto e memoria dell'AI sono la stessa cosa?
Finestra di contesto e memoria non sono sinonimi. La prima riguarda la quantità di informazioni che un modello può elaborare contemporaneamente in una determinata richiesta. La memoria è invece una funzionalità che alcune applicazioni possono utilizzare per conservare determinate informazioni e renderle nuovamente disponibili in interazioni successive.
Un'informazione memorizzata può quindi essere recuperata e inserita nel contesto quando è pertinente, ma non è necessariamente presente nella finestra di contesto in ogni momento.
Lo stesso principio riguarda le ricerche su documenti e database. Un sistema può avere accesso a un archivio enorme senza inserire tutto il suo contenuto nella context window. Può prima individuare le informazioni pertinenti e fornire al modello soltanto quelle necessarie per rispondere alla richiesta.
È una distinzione importante perché avere accesso a una grande quantità di dati non significa elaborarli tutti contemporaneamente.
Una finestra di contesto più grande rende l'AI migliore?
Potrebbe sembrare che una finestra di contesto più grande renda automaticamente migliore un modello AI, ma non è necessariamente così.
Avere più spazio permette di gestire input più estesi, ma la qualità del risultato dipende anche dalla capacità del modello di individuare e utilizzare correttamente le informazioni rilevanti all'interno di quel contesto.
Inserire una quantità enorme di informazioni non pertinenti può persino rendere più difficile concentrarsi sui dati realmente importanti. Per questo la gestione del contesto è diventata un elemento centrale nello sviluppo delle applicazioni basate sull'intelligenza artificiale.
Esistono inoltre considerazioni relative alle risorse necessarie per elaborare input molto grandi. Nell'utilizzo tramite API, ad esempio, i token rappresentano generalmente anche una delle metriche utilizzate per determinare i costi. OpenAI distingue tra token di input, output e, quando applicabile, token memorizzati nella cache.
Avere una context window da centinaia di migliaia o milioni di token significa quindi avere a disposizione una capacità massima, non che sia sempre utile o conveniente riempirla completamente.
Perché la finestra di contesto è sempre più importante
L'aumento delle dimensioni delle finestre di contesto è stato uno degli sviluppi più significativi dei modelli AI degli ultimi anni.
La possibilità di gestire quantità maggiori di informazioni permette di affrontare attività che richiedono l'analisi di documenti estesi, progetti software articolati e conversazioni molto lunghe. Parallelamente, però, sta diventando sempre più importante gestire bene il contesto, non soltanto ampliarlo.
Anche OpenAI, nelle indicazioni rivolte agli sviluppatori, raccomanda di eliminare istruzioni ripetute e informazioni non necessarie dai prompt, evidenziando come contesti più snelli possano migliorare efficienza e, in alcuni casi, prestazioni.
La finestra di contesto può quindi essere vista come lo spazio entro cui l'intelligenza artificiale lavora in un determinato momento. Aumentarne le dimensioni consente di affrontare compiti più articolati, ma la vera sfida è utilizzare quello spazio in maniera efficace, fornendo al modello le informazioni giuste quando servono.
Per saperne di più: Intelligenza Artificiale: cos'è e cosa può fare per noi
Domande frequenti (FAQ)
-
Cos'è la finestra di contesto dell'IA?È la quantità di informazioni che un modello AI può avere a disposizione durante l'elaborazione di una richiesta, entro i limiti previsti dal modello..
-
Come si misura la finestra di contesto?Generalmente viene misurata in token, le unità in cui un modello suddivide ed elabora testi e altri contenuti.
-
Cosa succede quando si supera la finestra di contesto?Dipende dal servizio: alcune informazioni possono essere escluse o sintetizzate, oppure la richiesta può essere rifiutata perché supera i limiti supportati.
-
Una finestra di contesto più grande rende migliore un'AI?Non necessariamente. Permette di gestire più informazioni contemporaneamente, ma la qualità dipende anche dalla capacità del modello di individuare e utilizzare correttamente i contenuti rilevanti.
-
Finestra di contesto e memoria dell'AI sono la stessa cosa?No. La finestra di contesto riguarda ciò che il modello può elaborare in una determinata richiesta, mentre la memoria può conservare informazioni da recuperare e utilizzare anche in interazioni successive.
