跳到正文
Hugging Face Blog·· 2024-06-18AI 评分56

BigCodeBench 发布:面向复杂函数调用的代码生成评测基准

BigCodeBench: The Next Generation of HumanEval

AI 导读

Hugging Face Blog 宣布发布 BigCodeBench,一个包含 1,140 个函数级任务、覆盖 139 个库的代码生成评测基准,每个任务平均含 5.6 个测试用例、平均分支覆盖率达 99%,旨在替代任务过于简单且易受数据污染影响的 HumanEval。

来源:Hugging Face Blog · huggingface.co