投资机构Andreessen Horowitz普通合伙人Martin Casado于2026年11月9日在X发帖,追问METR的报告若不按支出归一化,评估还有多大用途。他没有明确指出具体报告,因此这条提问不能证明METR未考虑支出,也不能确定他所指的是哪项研究。

这项追问涉及一个实际决策:模型取得更好成绩时,增加了多少投入?对研发团队而言,比较预算用途需要知道不同支出水平能换来什么结果,单个能力成绩不足以回答这个问题。

作为此前的研究背景,AI评估机构METR在2026年7月21日发布的NanoGPT研究中,已提出“支出视界”。NanoGPT speedrun是在固定硬件和目标验证损失下,尽量缩短模型训练耗时的优化项目。支出视界指的是:在同一优化问题上,人类与智能体使用相同预算、取得相同指标改进时,对应的美元预算。其方法是把实验计算、模型token使用和人工成本换算成美元,绘制成本—表现曲线,再寻找交点。

这里的支出视界是一个预算交点。METR也将它与“成本节省”指标区分开来,认为后者更能反映智能体的理论经济价值,而支出视界更容易描述和进行统计估计。因此,不能把支出视界的美元数直接当成已经节省的金额。

不过,方法框架与实际核算范围仍有区别。METR在NanoGPT实验中,以在该项目中取得约1%的训练速度改进需要2,500美元人工投入作为基准,依据约16小时人工和每小时150美元的工资假设取整。团队明确表示,这一估计高度不确定,可能漏计上游研究、思考和讨论等投入;人类一侧也没有计入GPU等基础设施成本。

智能体一侧的实验配置同样影响成本。METR报告,在持续提供四个H100节点的配置下,实验计算约占多数运行轨迹总成本的70%至90%。团队认为,其运行框架可能低效;这一比例只适用于所述实验,不能推广为全部AI研发的成本结构。

这些限制意味着,该实验没有完成双方全部成本的对照。分析上,研发团队若要据此分配预算,仍需检查双方计入了哪些费用、人工基准如何估算,以及改变运行配置后,成本—表现关系是否仍然成立。

此外,METR说明,该方法只估计自主优化的价值,并判断人类借助AI进行优化在一些情况下可能显著优于自主优化。自主智能体与人类的比较,因而也不能直接回答人机协作能带来多少研发收益。

参考来源: