Hugging Face 如何改进 Hub 上 Parquet 文件的去重效率

Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了去重表现：追加 1 万行可去重 99.1%，仅需额外 20MB；但修改一行因列头含绝对偏移量只去重 89%，需额外 230MB，删除一行则导致后半文件全部重写。团队提出改用相对偏移量、对行组做内容定义分块（CDC）等改进思路，并希望与 Apache Arrow 社区合作落地。