Hugging Face Blog·· 2025-03-18精选AI 评分62
Hugging Face 将 Xet 存储上线 Hub,首批仓库完成迁移
Xet is on the Hub
AI 导读
Hugging Face 的 Xet 团队已将首批模型和数据集仓库从 LFS 迁移到 Xet 存储,迁移量约 4.5 TB,占 Hub 下载流量约 6%。Xet 采用内容定义分块(约 64KB)做字节级去重,改动小部分数据时只上传变化的块,官方举例称一个约 5 GB 的 SQLite 数据库追加 1 MB 数据,上传耗时从 LFS 下的 13 分钟降到 0.1 秒。
推荐理由
Hugging Face 官方复盘 Xet 存储首次迁移,给出块级去重带来的传输收益与迁移中暴露的工程问题。
来源:Hugging Face Blog · huggingface.co