Joël Niklaus项目团队公布的一组编程智能体对比显示:固定模型、更换执行框架,任务通过率会明显变化;在一款模型上领先的框架,换一款模型后也未必领先。
据团队报告,比较覆盖10套现成执行框架,两款模型使用同一组250道SWE-bench Pro留出任务,每个模型与框架组合在每题上运行一次。参测模型分别是采用FP8精度的GLM-5.2 744B-A40B和采用BF16精度的Gemma 4 26B-A4B。这里的执行框架(harness),是围绕模型组织任务执行的代码,决定模型工作时存储、检索和看到哪些信息。
项目数据桶报告,在上述每组250题、每题运行一次的设置下,GLM-5.2的pass@1为23.2%至52.4%,最低为goose,最高为mini_swe_agent。Gemma 4的pass@1为15.2%至36.0%,最低同样为goose,最高则为crush。pass@1在这里表示每题尝试一次时的任务通过率。
框架之间的相对表现也发生了变化。团队报告,两款模型上的框架排名Spearman相关系数为-0.05。这个衡量排名一致性的指标,说明两份排名在本次比较中几乎没有相关性;它支持的判断是,不能直接把一款模型上的框架排名套用到另一款模型。
不过,名次不等于确定的性能差距。团队提示,250道任务、每题一次运行,使单项pass@1的Wilson 95%置信区间大致为正负6个百分点,不能据此区分成绩相邻的框架。项目所称的250道“留出任务”,也不能直接等同于SWE-bench Pro官方定义的非公开留出分区,因此不宜拿这些成绩与官方榜单直接比较。
对开发者而言,这组结果的实际启示是把“模型与执行框架的组合”作为选型对象,再用自己的任务验证。实验只覆盖两款模型和这组任务,尚不足以推断其他模型或生产场景中的表现,也不能确定某个框架机制就是成绩差异的原因。
团队称已公开全部5000次运行记录,包括逐次模型调用的token用量、经过评分的补丁和智能体执行记录,并提供重现通过率与成本图的脚本。这为后续复核提供了材料;现有材料中尚无第三方独立复现这组成绩的证据。
参考来源:
