Hugging Face 用 Math-Verify 重新评估 Open LLM Leaderboard 全部 3,751 个模型
Hugging Face 用 Math-Verify 替换 Open LLM Leaderboard 上的旧数学评测器,重新评估了提交过的全部 3,751 个模型。
推荐理由:原文给出旧评测器的三类解析缺陷与修复后分数变化,读者可据此理解评测口径对排行榜的实际影响。
内容类型
模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。
44 条精选近 30 天 26 条共收录 273 条
Hugging Face 用 Math-Verify 替换 Open LLM Leaderboard 上的旧数学评测器,重新评估了提交过的全部 3,751 个模型。
推荐理由:原文给出旧评测器的三类解析缺陷与修复后分数变化,读者可据此理解评测口径对排行榜的实际影响。
Mistral AI 发布旗舰语言模型 Mistral Large,称其为通过 API 普遍可用的全球第二强模型(仅次于 GPT-4),具备 32K tokens 上下文窗口、五种语言原生流利、原生 function calling 与精确指令遵循能力。
推荐理由:原文给出基准对比与三种接入方式,读者可据此评估其相对 GPT-4 的定位和部署选择。
Hugging Face 宣布在自身生态中集成 Meta 的 Code Llama 模型家族,包含 7B、13B、34B 三种参数规模,以及 Python 专精版和指令微调版,采用与 Llama 2 相同的宽松社区许可并可商用。
推荐理由:原文给出模型规格、上下文窗口扩展方法和多语言榜单成绩,便于评估其在代码任务上的定位。
Hugging Face 博客解释了 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何显著低于 LLaMA 论文报告值。
推荐理由:通过对比三套 MMLU 实现的分数差异,读者能理解评测分数为何不可直接跨库比较。