Hugging Face 如何用内容定义分块提升存储效率

Hugging Face 的 Xet 团队正用内容定义分块（CDC）把文件拆成可变大小的块，只传输和存储被修改的块，从而提升存储效率与迭代速度。在 CORD-19 数据集基准中，Xet 后端相比 Git LFS 平均下载时间从 51 分钟降至 19 分钟、上传从 47 分钟降至 24 分钟，存储占用从 8.9 GB 降至 3.52 GB。