Un milione di token: cosa cambia quando l'AI legge un libro intero in una volta
Nelle ultime settimane diversi grandi laboratori hanno presentato modelli linguistici con una finestra di contesto da un milione di token. Fino a poco tempo fa era una cifra da laboratorio di ricerca; oggi sta diventando lo standard dei modelli di fascia alta.
Che cos'è il contesto
Il contesto è la quantità di testo che un modello può tenere a mente mentre risponde. Un milione di token corrisponde, a grandi linee, a 700.000 parole: più o meno l'intera saga di un romanzo fantasy, oppure il codice completo di un'applicazione di medie dimensioni.
Con contesti piccoli bisognava spezzare i documenti, riassumerli a pezzi e sperare che nulla di importante andasse perso. Con un contesto così ampio il modello vede tutto insieme: le contraddizioni tra il capitolo 2 e il capitolo 30, la funzione scritta tre anni fa che rompe quella nuova, la clausola sepolta a pagina 140 di un contratto.
Dove si vede la differenza
Sviluppo software: il modello può ragionare su un intero progetto, non solo sul file aperto.
Scrittura: revisione di un manoscritto completo, con coerenza di personaggi, tempi e luoghi.
Lavoro d'ufficio: analisi di archivi di documenti, verbali e fogli di calcolo senza doverli selezionare a mano.
Creatività: sceneggiature, mondi di gioco e bibbie di serie che restano coerenti dall'inizio alla fine.
I limiti da conoscere
Più contesto non significa automaticamente risposte migliori. Leggere un milione di token costa di più e richiede più tempo, e i modelli tendono ancora a dare più peso all'inizio e alla fine del testo rispetto al centro. Per questo i laboratori stanno abbassando i prezzi della lettura ripetuta degli stessi documenti, la cosiddetta cache: chi lavora per giorni sullo stesso progetto paga molto meno la seconda volta.
Cosa significa per chi crea
La vera novità non è il numero, ma il modo di lavorare: si passa da domande singole a progetti interi affidati a un assistente che ricorda tutto. Chi organizza bene i propri materiali, con file ordinati, appunti chiari e versioni datate, ne trarrà il vantaggio maggiore.