Jason Wei于2026年11月12日表示,自己的评测统计初版遗漏了不少内容,Claude进一步检索后,比初版多找到36%的基准提及记录。他同时表示,带有复杂界面元素的博客文章、长PDF等材料仍会被遗漏。
这项工作统计的是基准被报告的频率。第三方镜像teapawt转载的此前帖子中,Wei将其描述为2026年前沿实验室报告了哪些基准的频率分布,并称之为“benchmark benchmark”。
这里的36%以初版找到的基准提及记录为比较基线。它不代表基准种类、行业采用率或模型评测成绩提高了36%。Wei未在帖子中披露绝对记录数、去重规则或具体检索过程,现有材料也不足以复算这一增量,或判断修订是否改变了原有排名。
此次更新提示,阅读这类基准使用频率统计时,需要同时关注检索覆盖范围:新增记录可以补充统计,但持续存在的漏项意味着,修订版仍不能被视为完整清单。
参考来源:
