一家奢侈品 Maison 靠它所记得的东西而存在:1987年一件夹克的剪裁,某种红色的确切色调,一位客户对无衬里手套的偏好。这份记忆是它最脆弱的资产,而到目前为止,人工智能一直把它当作一项开支。每一次请求都要重新读取整份档案,而每一次重读都要计费。
OpenAI 发布 GPT‑6.1 Sol,改变了这笔账。供应商为其新模型标出每百万输入 token 2 美元、每百万输出 token 10 美元,是其旗舰模型 Astra(10 美元和 50 美元)价格的五分之一。然而,最值得注意的数字出现在公告更靠后的位置:已传输的上下文,即所谓“缓存”,每百万 token 仅需 0.10 美元,比标准输入低 95%。
落实到用途上,一个能把某家 Maison 的风格指南、系列档案和某位客户的历史记在心里的智能体,可以在每次交流时以极低的价格重新打开这份档案。曾经属于实验室的奢侈,变成了一项普通的预算科目。
这些数字来自供应商自己,是在其自行选定的基准测试上测得的。OpenAI 还承认,其事实性测试针对的是刻意设置的高难度问题,并不代表日常使用。至于智能体在搜索工具失灵时的透明度,该模型仍有 2.1% 的情况会失败。对于一家每一句话都关系到其名誉的 Maison 而言,这个残余并非小事:一个编造创立日期的廉价智能体,比一个保持沉默的昂贵智能体代价更高。
于是问题的性质变了。它不再关乎能负担得起让机器读取什么,而在于愿意托付给它什么。当记忆几乎不花钱时,筛选就成了稀缺的动作:决定哪些档案资料进入上下文,哪些留在其触及范围之外,以及由谁来复核输出的内容。从前,技艺通过工坊传承。往后,需要选择的是,愿意让第三方记住什么。

Cette publication est également disponible en :
