Deep Research 在 BrowseComp 答对 51.5%,不能换算成工作完成率

OpenAI 在 2025 年 4 月发布的 BrowseComp 评测中,Deep Research 答对了 51.5% 的题。这个数字说的是一组高难度网页检索题的准确率,不能换算成“能完成一半真实工作”。OpenAI 同时说明,受测模型接受过针对这类题的训练,而评测成绩与用户日常开放式任务的表现有多大关联,仍不清楚。

51.5% 测的是找答案

BrowseComp 包含 1266 道题。每道题都有一个原则上唯一、可以核对的简短答案,只是线索藏得深,需要反复搜索和拼接。OpenAI 用它衡量浏览 Agent 找到难寻信息的能力。

在 OpenAI 发布时的测试中,不使用浏览工具的 GPT-4o 准确率为 0.6%,使用浏览工具的版本为 1.9%,Deep Research 为 51.5%。这组结果显示,受测的 Deep Research 更擅长解决 BrowseComp 设计的检索问题;它不是截至今天的模型排名,也没有测量一份研究报告能否交给客户使用。

评测有其难度。OpenAI 要求出题人避开简单搜索就能找到答案的问题;参与验证的人类训练者在尝试的 1255 道题中,只有 29.2% 找到了答案。这些设计让 BrowseComp 能观察 Agent 是否会持续搜索、调整路径并核对线索。

为什么不能把它当成工作完成率

BrowseComp 为了方便判分,刻意选择了短答案。真实任务往往没有唯一答案:用户可能还没把问题说清楚,资料可能互相矛盾,最后需要的是解释、取舍和可用的交付物。OpenAI 在评测说明中承认,短答案成绩与这类开放式用户任务表现的相关性尚不清楚。

51.5% 还有一个条件。OpenAI 在成绩表下注明,受测的 Deep Research 模型接受过专门帮助它做好 BrowseComp 类任务的训练。因此,这个分数不能单独用来判断它面对不同任务时的通用浏览能力;现有材料也不足以算出专门训练贡献了多少分。称其“过拟合”同样需要另外的实验,不能只凭这条注释下结论。

BrowseComp 仍有用:如果一个 Agent 连明确答案都找不到,它也很难完成更复杂的研究。但要决定是否把它用于真实工作,还需要在自己的任务上检查结果质量、来源可追溯性、耗时和成本。51.5% 是检索能力的一个信号,不是工作交付率。