Um milhão de tokens: o que muda quando a IA lê um livro inteiro de uma só vez
Nas últimas semanas, vários grandes laboratórios apresentaram modelos de linguagem com uma janela de contexto de um milhão de tokens. Até há pouco tempo era um número de laboratório de investigação; hoje está a tornar-se o padrão dos modelos de gama alta.
O que é o contexto
O contexto é a quantidade de texto que um modelo consegue ter presente enquanto responde. Um milhão de tokens corresponde, grosso modo, a 700 000 palavras: mais ou menos a saga completa de um romance de fantasia, ou o código completo de uma aplicação de média dimensão.
Com contextos pequenos era preciso dividir os documentos, resumi-los por partes e esperar que nada de importante se perdesse. Com um contexto tão amplo, o modelo vê tudo em conjunto: as contradições entre o capítulo 2 e o capítulo 30, a função escrita há três anos que estraga a nova, a cláusula enterrada na página 140 de um contrato.
Onde se nota a diferença
Desenvolvimento de software: o modelo consegue raciocinar sobre um projeto inteiro, e não apenas sobre o ficheiro aberto.
Escrita: revisão de um manuscrito completo, com coerência de personagens, tempos e lugares.
Trabalho de escritório: análise de arquivos de documentos, atas e folhas de cálculo sem ter de os selecionar à mão.
Criatividade: argumentos, mundos de jogo e guias de séries que se mantêm coerentes do princípio ao fim.
Os limites a conhecer
Mais contexto não significa automaticamente melhores respostas. Ler um milhão de tokens custa mais e demora mais, e os modelos continuam a dar mais peso ao início e ao fim do texto do que ao meio. Por isso, os laboratórios estão a baixar os preços da leitura repetida dos mesmos documentos, a chamada cache: quem trabalha durante dias no mesmo projeto paga muito menos à segunda vez.
O que significa para quem cria
A verdadeira novidade não é o número, mas a forma de trabalhar: passa-se de perguntas isoladas a projetos inteiros entregues a um assistente que se lembra de tudo. Quem organiza bem os seus materiais, com ficheiros arrumados, notas claras e versões datadas, vai tirar o maior proveito.