OpenAI 在 GPT-6 部署指南中建议,上线前运行具有代表性的任务,测量任务成功率、延迟和每次成功任务的成本。对准备部署智能体的团队,这提供了一个评估起点:比较不同配置完成同一类工作的结果与总花费。
指南建议,按工作负载选择模型、推理强度和速度,在能力、成本与延迟之间权衡。对于支持 Extra high 或 Max 推理强度的模型,OpenAI 建议在 High 不足时再测试,只有改善足以抵偿额外时间和成本时才保留。更高配置是否划算,需要具体任务的结果来回答。
缓存的价格尤其容易被误读。提示词缓存通过复用请求开头相同内容的处理状态,减少重复计算。按 OpenAI 缓存文档,GPT-5.6 及后续模型的缓存写入费用为普通未缓存输入 token 单价的 1.25 倍;多数此类模型的缓存读取单价为该单价的 0.1 倍,GPT-6.1 Sol 则为 0.05 倍。这里的 token 是模型处理文本等输入时使用的计量单位。
因此,GPT-6.1 Sol 缓存读取部分相对普通未缓存输入的 95% 单价折扣,不能直接解释为完整工作流总成本下降 95%。总账还要计入缓存写入、未缓存输入、输出、工具调用和重试。OpenAI 文档也说明,缓存复用要求完整的已渲染前缀匹配;断点之前的内容或相关设置变化,会使变化之后的前缀无法匹配既有缓存。
长任务还涉及上下文压缩,也就是用更短的表示承接此前对话。OpenAI 将其描述为减少上下文大小、同时保留后续轮次所需状态的机制。不过,压缩可能改变缓存前缀,使压缩后的首次请求较少复用此前缓存。评估时应把输入量、缓存读写量、实际费用与任务结果放在一起看,单看缓存命中情况不足以判断收益。
执行流程同样需要明确边界。指南建议,事先说明哪些操作可独立进行、哪些需要批准。按指南说明,异步工具调用允许模型在应用执行较慢任务时继续独立工作,但依赖该任务结果的步骤应等待结果返回。这些安排提供了管理长任务的方法,具体能节省多少等待时间仍需测量。
核算范围也应覆盖模型调用之外的工作。OpenAI 的客服智能体 Cookbook 提出,每次经验证解决问题的综合成本,应以模型、工具、基础设施、重试、人工审核、升级处理和返工成本之和为分子,以经验证已解决的客户问题数为分母。这一口径有助于检查:调用费用降低后,是否增加了人工接手或返工。
该 Cookbook 使用合成电商工单和无需 API 支出的确定性模拟,演示先测量基线、每次修改工作流的一部分、接受节省前检查质量的流程。它可以作为评估方法示例,其中的优化对比不能视为生产部署效果,也不能外推为 GPT-6 的成绩。
对部署团队而言,这些材料支持的判断是:模型选择需要接受任务结果和完整成本的检验。现有材料没有提供 GPT-6 各模型、不同推理强度和不同工作流在同一代表性任务集上的独立对照,尚不能确定哪项调整贡献最大,或哪种配置普遍最合算。
参考来源:
