Hugging Face 博客介绍 ALTK-Evolve 的一致性指南功能
Hugging Face 博客介绍了 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer:在 AppWorld test_normal(168 任务)上,GPT-4.1 驱动的 ReAct agent 平均 Mean@5 为 77.4%,但 Pass^5 仅 53.0%,存在 24.4pp 的一致性差距。
Hugging Face 博客介绍了 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer:在 AppWorld test_normal(168 任务)上,GPT-4.1 驱动的 ReAct agent 平均 Mean@5 为 77.4%,但 Pass^5 仅 53.0%,存在 24.4pp 的一致性差距。
Hugging Face 与 Treble Technologies 联合上线 FFASR Leaderboard,首个开源社区驱动的远场 ASR 评测榜单,覆盖 14 间模拟房间并通过实测数据校验。
Hugging Face Blog 发布 EcomRLVE-GYM,把 RLVE 框架从单轮推理题扩展到多轮、带工具的电商对话场景,提供商品发现、缺货替代、加购、退货、订单追踪、政策问答、组合规划、多意图旅程共 8 个可算法验证的环境,每个环境含程序化题目生成、12 轴难度课程与可验证奖励。
Hugging Face 发布检索嵌入基准 RTEB 的测试版,用于评估 embedding 模型在真实应用中的检索准确度。它采用公开与私有数据集混合策略,公开部分可复现,私有部分由 MTEB 维护者评测以保证公正,模型若在两者间表现落差明显即提示过拟合。
Hugging Face 发布智能体评测基准 Gaia2 及配套开源框架 Meta Agents Research Environments(ARE),Gaia2 数据集以 CC by 4.0 许可发布,ARE 以 MIT 许可发布。
推荐理由:原文给出了评测维度与各模型的强弱分布,读者可据此判断当前智能体能力的真实短板所在。
Hugging Face 的 Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 512 张 H100 本地跑 DeepSeek R1 生成 800k 条推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 判分过滤后保留 220k 道题的正确轨迹。
推荐理由:原文公开了数据生成与过滤的完整流水线和训练对照结果,读者可据此复现或迁移到其他领域。
Hugging Face 与 Open Life Science AI 推出 Open Medical-LLM Leaderboard,用 MedQA、MedMCQA、PubMedQA 及 MMLU 医学与生物学子集等数据集,以准确率为主要指标对比各模型的医疗问答能力。
Hugging Face 发布 WebSight-v0.2 数据集,用于训练将网页截图转换为 HTML 代码的 AI 系统,规模扩展至 200 万组截图/HTML 对,截图改用真实图片并切换到 Tailwind CSS。
Hugging Face 推出 MTEB 文本嵌入基准,涵盖 8 类任务、56 个数据集,榜单已汇总超过 2000 条结果,支持最多 112 种语言。
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个面向 Sentence Transformer 的高效少样本微调框架,无需提示词即可在少量标注数据上取得高准确率,例如在 Customer Reviews 情感数据集上每类仅 8 个标注样本即可与在 3k 全量样本上微调 RoBERTa Large 相竞争。