BigCode 背后的大规模近似去重实践

Hugging Face 官方博客详细讲解 BigCode 训练数据的文档级近似去重方法，覆盖 MinHash 加 LSH 的完整流程：shingling 分词、指纹计算、LSH 分桶、候选对聚类与去重决策。