Hugging Face Blog·· 2025-07-25AI 评分39
Hugging Face 为 Parquet 引入内容定义分块（CDC），加速 Xet 存储层上传下载
Parquet Content-Defined Chunking
AI 导读
PyArrow 和 Pandas 现已支持 Parquet 内容定义分块（CDC），可在 Hugging Face 的 Xet 存储层上对 Parquet 文件高效去重，只上传或下载发生变化的 chunk。
来源：Hugging Face Blog · huggingface.co