Hugging Face Blog·· 2025-02-12精选AI 评分60
Hugging Face 用块级聚合加速 Hub 上传下载
From Chunks to Blocks: Accelerating Uploads and Downloads on the Hub
AI 导读
Hugging Face 的 Xet 团队将内容定义分块（CDC）投入生产，通过块（最大 64MB）和分片聚合，把 CAS 条目减少约 1000 倍，部分场景上传下载提速 2-3 倍。
推荐理由
Hugging Face 公开了 Xet 存储的块级聚合设计，读者可据此理解大文件去重为何不能只靠分块。
来源：Hugging Face Blog · huggingface.co