Sarah Guo于2026年10月25日在X发文称,前沿模型实验室之外的充裕推理供给,是繁荣AI创业生态的前提。她认为,关键推理供应商应能获取可自主分配的算力容量,保障安全和可靠性,并持续改善成本与性能。

她关注的是算力的分配权。在Guo看来,闭源前沿模型实验室需要在对外API服务、内部训练和自有产品之间权衡有限GPU的用途,因此创业生态需要这些实验室之外的充裕推理供给。原帖没有点名具体实验室,也未提供各家GPU分配或外部客户供给受到挤压的数据。

Guo用CPU时代的公共云作类比:购买云服务可以免去自建基础设施的资本开支,并将大量运维工作交给供应商。她反对把自行拥有、建设和运营电力、冷却及芯片设施,作为每一家中小客户的普遍路径。这是她对基础设施分工的主张,不能据此认定GPU推理市场会重演公共云的发展结果。

购买服务之后,成本仍取决于负载。Together AI的专用推理文档称,这类服务按部署运行时间计费,而非按token或请求数量计费。该公司认为,副本大部分时间繁忙时,专用推理通常更便宜;流量较低或突发、专用副本会长时间闲置时,按token计费的无服务器服务通常更便宜。这是供应商对自家服务适用条件的说明,不能直接用于判断所有客户的采购选择。

Guo与推理服务行业也有投资关系。她在2025年9月5日发表的Baseten署名文章中披露,自己从该公司初创时就开始投资,参与了每一轮融资,最近一次通过Conviction参与其D轮融资。她此次原帖并未点名Baseten,也没有推荐某一家供应商。

她的主张把创业基础设施的讨论引向了一个具体问题:除了模型能力,供应商能否持续提供可用容量,以及容量如何分配,同样值得关注。不过,现有材料尚不足以证明,外部推理供应商在容量、可靠性或成本上普遍优于前沿模型公司的API服务。

参考来源: