一百万token:当AI一次读完一整本书,会发生什么变化
最近几周,多家大型实验室相继推出了上下文窗口达到一百万token的语言模型。不久前,这还是只出现在研究实验室里的数字;如今,它正成为高端模型的标配。
什么是上下文
上下文是模型在回答问题时能够记住的文本量。一百万token大致相当于70万个单词:差不多是一部奇幻小说整个系列的篇幅,或是一个中等规模应用程序的完整代码。
上下文很小的时候,人们不得不把文档拆开,分段做摘要,然后祈祷没有重要信息丢失。有了如此大的上下文,模型可以把一切尽收眼底:第2章与第30章之间的矛盾、三年前写的某个函数与新函数的冲突、埋在合同第140页的那一条条款。
差别体现在哪里
软件开发:模型可以针对整个项目进行推理,而不只是当前打开的那个文件。
写作:审阅完整的手稿,确保人物、时间和地点前后一致。
办公工作:分析成批的文档、会议纪要和电子表格,无需手工筛选。
创意领域:剧本、游戏世界和系列作品设定集能够从头到尾保持连贯。
需要了解的局限
上下文更大并不一定意味着答案更好。读取一百万token成本更高、耗时更长,而且模型仍然倾向于更重视文本的开头和结尾,而忽略中间部分。因此,各大实验室正在降低重复读取同一批文档的价格,也就是所谓的缓存:连续数天处理同一个项目的人,第二次使用的费用会低得多。
对创作者意味着什么
真正的新意不在于这个数字,而在于工作方式:从一个个单独的提问,转变为把整个项目交给一位什么都记得的助手。那些把资料整理得井井有条的人,比如文件有序、笔记清晰、版本带有日期,将从中获益最多。