Jason Wei于2026年11月10日发布一份前沿实验室评测报告频率统计,称DeepSWE从当年6月首次出现,到其统计中的全部12家实验室都报告了该评测。这一范围限于他的统计样本,实验室名单和纳入规则尚未核验。

Wei把这份统计称为“benchmark benchmark”,即对评测本身再做一次统计:观察2026年前沿实验室报告了哪些评测,以及它们出现的频率。据他的观察,HLE、SWE-Bench Pro、DeepSWE和Terminal-Bench在样本内获得普遍采用。

这份观察提供了一个比较模型的线索:多家实验室报告相同评测,意味着读者有机会在共同参照下查看结果。不过,报告频率本身不能证明评测质量,也不能直接代表模型在实际产品中的能力。Wei链接了统计页面,但现有材料没有提供底层数据,尚无法核对计数单位、统计截止时间和不同版本如何合并。

版本变化尤其值得留意。Wei称,实验室在一年内使用了Terminal-Bench从2.0到4.0的四个版本。维护方的更新记录显示,2026年8月28日发布的4.0版包括校准任务资源、修复任务和移除已饱和任务;11月9日的4.1版则更新了任务验证器,目标是增强对奖励作弊的抵抗能力并改善正确性。官方发布记录说明测试内容持续调整,但不能单独验证各实验室实际报告了哪些版本。

测试配置同样影响结果。评测机构Artificial Analysis在其编程智能体评测说明中指出,结果对应特定智能体变体,模型选择、设置和执行配置都可能显著改变结果。这是比较条件的背景,不能用来验证Wei的报告频率统计。

对据此选择模型的读者,这份统计更适合作为查找共同评测的入口。接下来仍需查看各实验室报告中的具体版本、工具和执行设置,再判断成绩能否放在一起比较;目前的材料还不足以量化版本更替对分数的影响。

参考来源: