Hugging Face 开源 CWE-bench v2:100 个任务覆盖 91 种 CWE
Hugging Face 与 Collinear AI 开源 CWE-bench v2,公开 100 个任务,覆盖 91 种 CWE,用于测试前沿模型发现并修复安全漏洞且不破坏现有功能的能力,评分完全程序化、可复现。
推荐理由:公开了 100 个任务的评分口径与成本数据,读者可据此判断模型在真实漏洞修复上的水平与代价。
Hugging Face 与 Collinear AI 开源 CWE-bench v2,公开 100 个任务,覆盖 91 种 CWE,用于测试前沿模型发现并修复安全漏洞且不破坏现有功能的能力,评分完全程序化、可复现。
推荐理由:公开了 100 个任务的评分口径与成本数据,读者可据此判断模型在真实漏洞修复上的水平与代价。
Hugging Face Blog 发布 IBM Research 的 Palette:微调一个 20B 开源权重模型,用合成数据学习 IBM Design Language 并通过校验 harness 生成幻灯片,在 PresentBench 三个领域中两个排名第一、三领域均分第二(59.7 分,落后 NotebookLM 的 60.8 分 1.1 分)。
推荐理由:原文拆解了用合成数据与校验器训练小模型复现设计语言的完整方法,可迁移到其他输出可被代码校验的任务。
微软与 Hugging Face 联合发布并开源 ThinkingBox-Training(microsoft/thinkingbox-training),把 ThinkingBox-Bench 中对数据库终态的可执行检查复用为 RL 训练奖励。
推荐理由:原文给出了把数据库终态检查复用为 RL 奖励的完整训练流程与开源实现,读者可据此迁移方法到自己的智能体任务集。
Ai2 发布 FairStress 基准,用于测量 LLM 在最终选择之外的决策稳健性公平差异,包含 300 个双候选人场景、29 个领域,经人口统计身份与对抗前缀组合扩展至超过 1300 万测试用例,并提供 50K 项的 FairStress-Core 子集。
推荐理由:原文用对抗前缀揭示了输出层公平掩盖的决策稳健性差异,并给出相对有效的反事实 CoT 缓解方法。
IBM Research 在 Hugging Face 发布 ALTK-Evolve,用 GPT-4.1 从智能体自身训练轨迹中蒸馏出行为规则并追加到系统提示词,在不更新权重、无人工标注的前提下提升客服智能体表现。
推荐理由:原文展示了不更新权重、仅靠提示词级学习记忆提升客服智能体可靠性与成本的具体路径和量化结果。
Microsoft 与 Hugging Face 联合发布 ThinkingBox 沙箱与 ThinkingBox-Bench 基准,按智能体留下的后端终态与副作用而非其自述来打分,覆盖 507 个有状态业务工作流,每个任务独立运行 20 次。
推荐理由:文章用可执行的状态检查揭示工具调用正确不等于结果正确,并给出可复现的评测环境与复现步骤。
Hugging Face 发布研究,提出三种测试来量化语音识别中的基准优化(benchmaxxing)现象,并评测了 11 个广泛使用的开源 ASR 模型。
推荐理由:研究给出三种可量化探测方法与具体数据,读者可据此理解公开语音基准分数虚高的机制并改进自己的评测选择。
Hugging Face 的 Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 512 张 H100 本地跑 DeepSeek R1 生成 800k 条推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 判分过滤后保留 220k 道题的正确轨迹。
推荐理由:原文公开了数据生成与过滤的完整流水线和训练对照结果,读者可据此复现或迁移到其他领域。