Hugging Face 在 PyArrow 和 Pandas 中推出 Parquet Content-Defined Chunking

Hugging Face 宣布 Parquet Content-Defined Chunking（CDC）现已在 PyArrow 和 Pandas 中可用，通过传入 use_content_defined_chunking=True 即可启用，配合 Xet 存储层只上传或下载发生变化的数据块，从而降低传输与存储成本。