Hugging Face联合创始人Thomas Wolf于2026年11月20日披露,公司自当年夏季起已运行自建内容分发网络(CDN),每月分发数据接近1 EB。他将自建的原因归于AI下载的负载特点:文件巨大,相当一部分由机器拉取,需求又集中在少数云区域。
Wolf还报告了约420 GB/s的吞吐量和每秒8万次请求。帖子没有说明这些指标的统计周期,以及它们属于平均值还是峰值;三项数字不能视为严格等值换算,也不能据此认定这些水平持续保持。11月20日是这次披露的日期,具体上线日期没有公布。
在Wolf的解释中,传统网页分发面向许多用户提供大量小文件,AI下载则更多涉及少量超大文件。他称,这类下载用户中有很大一部分是位于少数云区域的GPU集群,因此缓存放在哪里、为多大的对象预留容量,都需要重新考虑。
他以一个1,000 GB的模型作例子:同一份缓存可能只服务较少客户端,但每个客户端都希望立即拿到完整模型。这是说明设计取舍的例子,并非模型大小或客户需求的统计分布。
Wolf称,团队针对超大对象调整了缓存,使自建CDN能够应对模型发布日的流量高峰,以及多个大型数据集和热门模型同时被下载的场景。帖子没有给出独立压测结果,也没有披露自建前后的成本、下载完成时间或故障率对比,因此尚不能判断实际改善了多少。
商业CDN也有处理超大对象的机制。AWS的CloudFront文档说明,启用缓存时,CloudFront不会直接获取或缓存大于50 GB的完整对象;关闭缓存时则可以从源站获取并转发。文档同时说明,借助范围请求,将对象拆成较小部分下载,CloudFront可以缓存超过这一大小上限的对象。
这意味着,Wolf的实践不能直接推广为商业CDN无法分发大模型。这个案例提示的工程取舍是:当下载需求来自集中的计算集群,并伴随超大文件和发布高峰时,缓存容量、位置和并发模式需要一起评估。自建是否更划算,仍取决于这些负载下的成本和性能对照。
参考来源:
