Jason Wei于2026年11月12日评论长时程工程评测OWE-Bench时称,Fable 5.2为尝试解决每道题消耗逾2亿个token。这一说法描述的是求解投入,并不表示每道题都已成功解决。

据第三方镜像页面收录的Mercor公告,OWE-Bench包含26个长时程工程项目,范围从GPU内核到飞机设计,旨在测试模型端到端完成整个项目的能力。相较于只看代码片段能否写出,这项评测关注的是模型能否把工程项目做完。

不过,投入与完成之间还不能画等号。OWE-Bench网站将榜单指标定义为各任务留出测试得分的平均值,并从每个模型家族中选取最佳模型。这种得分不能直接视为完整项目完成率,也就无法据此算出成功交付一个项目需要多少token。

Wei的评论没有交代逐题token数据、重复尝试次数,以及输入、输出和缓存token的划分,因此“每题逾2亿”尚不能进一步解释为单次运行的消耗、输出文本量或费用。对考虑采用长时程工程智能体的团队而言,这条评论提示了一个需要核对的问题:资源投入究竟换来了多少可靠交付,仍须结合逐任务结果和运行预算判断。

Mercor在评测网站上称,公开版本包含任务指令、环境、起始代码,以及榜单使用的验证器和留出测试数据,并提供榜单运行轨迹查看入口。这些材料为进一步核对投入与结果提供了依据;目前,逾2亿个token这一数字的直接来源仍是Wei的评论。

参考来源: