Hugging Face Blog·· 2024-04-23AI 评分45
Hugging Face 推出 Open CoT Leaderboard:衡量 LLM 的思维链增益
Introducing the Open Chain of Thought Leaderboard
AI 导读
Hugging Face 推出 Open CoT Leaderboard,通过对比模型在有无思维链(CoT)提示下的准确率差值(accuracy gain Δ),衡量 LLM 生成有效推理轨迹的能力,而非绝对准确率。该榜单使用 LogiQA、LSAT 等逻辑推理任务,已实现 Classic 和 Reflect 两种提示策略,旨在更稳健地评估模型推理能力并规避训练数据污染问题。
来源:Hugging Face Blog · huggingface.co