Conviction 创始人 Sarah Guo 10月21日在 X 发文提出:如果越来越多有经济价值的任务达到“智能饱和”,开放与定制模型推理市场就可能比肩当前的闭源智能市场。这是一个有前提的商业判断,原帖没有提供市场规模测算。

Guo 同时认为,客户在有选择时,会希望获得选择权、控制权和性能。她没有定义“智能饱和”的具体门槛,也没有列出哪些任务已经满足条件。

从这一假说推演,值得关注的是:当模型能力足以满足某项任务时,客户是否会更多地围绕控制权和运行表现选择模型。已有企业尝试沿着这条路径替换模型,但效果需要放在具体产品中理解。

推理服务商 Inference.net 发布的 Olive 客户案例称,这款食品信息应用将先后使用的 GPT-4.1、Claude Sonnet 4.6,替换为针对自身产品微调的 Qwen 3.5 9B 模型,由 Inference.net 平台上的 NVIDIA GPU 提供生产推理服务。这是一条定制模型加第三方托管的路径。

Inference.net 称,相比此前第三方前沿模型的定价方案,Olive 在服务相同请求量时,推理成本下降约70%。这一数字限于推理成本比较,不能据此推算包含训练、迁移和运维投入的总成本降幅。

Amplitude 的尝试则显示,替换模型还需要配套工程修正。该公司报告,在包含186个案例的内部评估集上,Kimi K2.7 未经调整时得分为64,完成修正后得分为73.7,同组测试中 Sonnet 4.6 得分为72.7。这一结果限于 Amplitude 的测试集,不能据此认定 Kimi K2.7 普遍优于 Sonnet 4.6。

Amplitude 称,相同工作负载运行在 Kimi K2.7 上的价格约为 Sonnet 的三分之一;这一比较也不是包含工程修正、运维和迁移投入的完整总成本核算。公司表示,仍在不同客户群体中测试模型选择,并未计划一次性将所有客户迁移到开放权重模型。

这些案例提供了评估 Guo 假说的具体方向:在明确任务上比较模型质量、运行表现和成本,再观察生产流量中的效果。它们尚不足以证明开放与定制模型推理市场能达到她判断的规模;原帖也没有提供客户对控制权的偏好如何转化为实际采购的数据。

参考来源: