跳到正文
Hugging Face Blog·· 2024-04-23AI 评分45

Hugging Face 推出 Open CoT Leaderboard:衡量 LLM 的思维链增益

Introducing the Open Chain of Thought Leaderboard

AI 导读

Hugging Face 推出 Open CoT Leaderboard,通过对比模型在有无思维链(CoT)提示下的准确率差值(accuracy gain Δ),衡量 LLM 生成有效推理轨迹的能力,而非绝对准确率。该榜单使用 LogiQA、LSAT 等逻辑推理任务,已实现 Classic 和 Reflect 两种提示策略,旨在更稳健地评估模型推理能力并规避训练数据污染问题。

来源:Hugging Face Blog · huggingface.co