Hugging Face Hub 优化 Parquet 文件去重

Hugging Face Xet 团队针对 Hub 上 Parquet 文件的去重效率展开实验，发现追加操作去重率可达 99.1%（仅需 20MB 额外存储），而修改单行因 Parquet 列头记录绝对文件偏移导致去重率降至 89%（需 230MB），删除行则会因行组重排使后半文件完全重写。