研究和评估前沿AI系统的机构METR于2026年10月14日提出一项自愿外部评估方案,希望让公众更了解AI公司内部开发中的失控风险。公司仍可决定开放哪些访问权限,并删节敏感信息。

这项提案聚焦公司内部使用的AI智能体,即能够自主执行任务的系统。METR提出,公众需要了解三类问题:模型是否可能严重绕过人类控制或采取有害行动;监控和控制措施能否在危害发生前发现并阻止这些行动;AI参与研发是否可能推动能力进展提速,超过开发者理解和防护系统的能力。

具体安排是,METR与公司事先商定调查范围,再依据员工访谈,以及在公司设备上访问的内部数据集和系统,撰写公开报告。少量评估人员将获得约定期限内的数据访问,期限可能为数周至数月,公司需提供技术联系人支持调查。这些都是METR提出的合作条件。

员工能否坦诚提供信息,是提案的一项具体要求。METR希望私下访谈相关员工,公司代表不在场,回答也不经公司筛选。在发表方面,METR要求原则上独立撰写约定范围内的报告,同时接受删节程序,并能够说明删节、访问限制和合作条款。

调查异常行为时,METR建议外部评估者检查公司内部已发现的相关事件全集,以及识别和分析这些事件的方法,并尝试寻找被遗漏的行为。重点还包括:已观察到的事件是否足以反映风险,以及哪些情况可能使现有观察低估未来风险。

对于监控系统,检查内容将涵盖覆盖范围、抵御智能体攻击的能力,以及标记可疑行为的可靠性。调查还应追踪告警之后的处置:公司响应是否及时、可靠,以及监控失效时可能造成的最严重后果。这样才能把监控工具的表现与公司实际阻止危害的能力联系起来。

研发加速部分则要求区分三个问题:内部模型能力进展是否正在提速,提速能否归因于AI智能体,以及算力、数据等瓶颈可能形成什么限制。METR认为,代码产出或实验数量的增加如何转化为整体能力进展加速,仍有很大不确定性,需要内部能力指标和算法进步方面的证据。

评估能看到多少,最终仍取决于公司。METR承认,公司可以拒绝访问请求,因此评估者实际上不会拥有与负责同类风险评估的公司高级员工相同的访问权限。公司也可以删节信息;METR打算披露重要材料的删节类型,若无法就披露方式达成一致,则公布这一事实。

METR明确表示,这些自愿评估不构成审计、合规评估或正式监督安排。方案不覆盖模型权重安全、沙箱稳健性等关键安全问题,也不负责决定模型是否可以部署。其目标是提供新的独立证据,供公司员工、董事会、外部科学家和政策制定者作出判断;由于相关科学尚不成熟,也缺少可供审计的安全开发标准,评估无法提供确定的安全保证。

参考来源: