研究：AI 审计员能查出多数智能体违规，但误报淹没审核者
Andy Hall 在 Substack 复现并扩展了 METR 的 MALT 数据集研究，测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审核者一样发现智能体违规。
#Hugging Face
The DecoderAI 评分6262
Hugging Face BlogAI 评分4040 Open ASR Leaderboard 新增埃及与尼日利亚英语口音私有数据
Hugging Face 与 Liva AI 合作，为 Open ASR Leaderboard 新增埃及和尼日利亚英语两个私有测试集，时长分别为 1.34 小时和 1.55 小时，均为带标点、区分大小写并保留不流畅片段的自发对话转写。
The DecoderAI 评分7474 GPT-6 Astra 通过权重空间编程直接改写其他模型权重
The Decoder 报道了一项研究：语言模型 Astra 无需逐步数学优化训练，直接读取或改写其他模型的原始权重，研究者称之为 Weight-Space Programming。
Hugging Face Blog精选AI 评分6060 Hugging Face 开源 CWE-bench v2：100 个任务覆盖 91 种 CWE
Hugging Face 与 Collinear AI 开源 CWE-bench v2，公开 100 个任务，覆盖 91 种 CWE，用于测试前沿模型发现并修复安全漏洞且不破坏现有功能的能力，评分完全程序化、可复现。
推荐理由：公开了 100 个任务的评分口径与成本数据，读者可据此判断模型在真实漏洞修复上的水平与代价。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 IBM Research 发布 Palette：用合成数据训练 20B 模型按设计语言生成幻灯片
Hugging Face Blog 发布 IBM Research 的 Palette：微调一个 20B 开源权重模型，用合成数据学习 IBM Design Language 并通过校验 harness 生成幻灯片，在 PresentBench 三个领域中两个排名第一、三领域均分第二（59.7 分，落后 NotebookLM 的 60.8 分 1.1 分）。
推荐理由：原文拆解了用合成数据与校验器训练小模型复现设计语言的完整方法，可迁移到其他输出可被代码校验的任务。
Hugging Face BlogAI 评分5959 Hugging Face 提出 transformers-mic 模型集成契约标准
Hugging Face Blog 发布 transformers-mic 提案，用 Model Integration Contract（MIC）为 Transformers 的模型测试打包标准，包含 fixture、usage path 和 baselines 三部分，发布在 huggingface-mic 仓库。
Hugging Face Blog精选AI 评分6161 微软与 Hugging Face 开源 ThinkingBox-Training：用数据库终态检查作为 RL 奖励后训练智能体
微软与 Hugging Face 联合发布并开源 ThinkingBox-Training（microsoft/thinkingbox-training），把 ThinkingBox-Bench 中对数据库终态的可执行检查复用为 RL 训练奖励。
推荐理由：原文给出了把数据库终态检查复用为 RL 奖励的完整训练流程与开源实现，读者可据此迁移方法到自己的智能体任务集。
Hugging Face BlogAI 评分5555 VocabX 论文预告：按 token 成本特化 SLM 词表可将推理成本降低 77%
Dharma AI 预告即将发表的 VocabX 论文，提出按每个 token 的服务成本而非出现频次来重建词表，在不改动基座模型和训练配方的前提下，将生产环境葡萄牙语作文评分器（基于 Qwen3-4B）的实测推理成本降低 77.0%，平均响应从 350 token 降到 101 token，bench score 从 0.703 升至 0.810。
Hugging Face Blog精选AI 评分6262 Ai2 发布 FairStress 基准，评估 LLM 决策中的隐性人口统计公平差异
Ai2 发布 FairStress 基准，用于测量 LLM 在最终选择之外的决策稳健性公平差异，包含 300 个双候选人场景、29 个领域，经人口统计身份与对抗前缀组合扩展至超过 1300 万测试用例，并提供 50K 项的 FairStress-Core 子集。
推荐理由：原文用对抗前缀揭示了输出层公平掩盖的决策稳健性差异，并给出相对有效的反事实 CoT 缓解方法。
Hugging Face Blog精选AI 评分6161 ALTK-Evolve 用学习记忆让 GPT-4.1 客服智能体登顶 τ²-bench
IBM Research 在 Hugging Face 发布 ALTK-Evolve，用 GPT-4.1 从智能体自身训练轨迹中蒸馏出行为规则并追加到系统提示词，在不更新权重、无人工标注的前提下提升客服智能体表现。
推荐理由：原文展示了不更新权重、仅靠提示词级学习记忆提升客服智能体可靠性与成本的具体路径和量化结果。
Hugging Face Blog精选AI 评分7474 Microsoft ThinkingBox 发布：按数据库终态评测智能体的基准与沙箱
Microsoft 与 Hugging Face 联合发布 ThinkingBox 沙箱与 ThinkingBox-Bench 基准，按智能体留下的后端终态与副作用而非其自述来打分，覆盖 507 个有状态业务工作流，每个任务独立运行 20 次。
推荐理由：文章用可执行的状态检查揭示工具调用正确不等于结果正确，并给出可复现的评测环境与复现步骤。
Hugging Face BlogAI 评分3636 ProvenanceGuard：面向 MCP 智能体的来源感知事实性验证
Hugging Face 发布论文 ProvenanceGuard，一种面向 MCP 智能体的生成后验证层，可区分"事实有据"与"来源归属正确"，专门检测把某来源的事实错误归到另一来源的跨来源混淆。在 281 条医疗智能体真实 trace 上，专家判定应拦截的 139 条声明中它拦下 138 条，来源识别准确率约 86%，并在与四种支持性检查器的对比中取得最高分。
Hugging Face BlogAI 评分5757 Hugging Face 博客介绍 ALTK-Evolve 的一致性指南功能
Hugging Face 博客介绍了 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer：在 AppWorld test_normal（168 任务）上，GPT-4.1 驱动的 ReAct agent 平均 Mean@5 为 77.4%，但 Pass^5 仅 53.0%，存在 24.4pp 的一致性差距。
Hugging Face BlogAI 评分4747 Hugging Face 提出 Quantization-Aware Healing：4-bit 压缩模型在 9 项 benchmark 中 7 项反超全精度原版
Hugging Face 提出 Quantization-Aware Healing（QAH），将 GPT-OSS 120B 结构压缩至 60B 参数并量化为 MXFP4 后，在 9 项 benchmark 中有 7 项反超其 bfloat16 全精度版本，包括 AA-LCR +7.4、AIME 2025 +5.6。
Hugging Face Blog精选AI 评分6363 Hugging Face 研究提出三种测试量化语音识别中的基准优化现象
Hugging Face 发布研究，提出三种测试来量化语音识别中的基准优化（benchmaxxing）现象，并评测了 11 个广泛使用的开源 ASR 模型。
推荐理由：研究给出三种可量化探测方法与具体数据，读者可据此理解公开语音基准分数虚高的机制并改进自己的评测选择。
Hugging Face BlogAI 评分5656 Hugging Face 研究：Agent 记忆注入量应按模型能力校准
Hugging Face Blog 发文介绍 ALTK-Evolve 在 AppWorld 585 个多步任务、八个模型上的评测，结论是 Agent 记忆不是开关而是需按模型校准的剂量：有余量的强模型适合注入完整指南集，弱模型适合紧凑核心加按任务检索，饱和模型无可测增益。
Hugging Face BlogAI 评分5151 Hugging Face 与 Treble 推出首个开源远场 ASR 评测榜单 FFASR
Hugging Face 与 Treble Technologies 联合上线 FFASR Leaderboard，首个开源社区驱动的远场 ASR 评测榜单，覆盖 14 间模拟房间并通过实测数据校验。
Hugging Face BlogAI 评分5959 MosaicLeaks：研究智能体的隐私泄漏基准与 PA-DR 训练方法
MosaicLeaks 提出一项深度研究任务，用 1,001 条交错本地与网页子问题的多跳研究链，评估智能体的外部查询是否会泄漏私有信息，并定义意图泄漏、答案泄漏、全信息泄漏三种度量。
Hugging Face BlogAI 评分5555 Hugging Face 开源 EcomRLVE-GYM 电商对话智能体可验证训练环境
Hugging Face Blog 发布 EcomRLVE-GYM，把 RLVE 框架从单轮推理题扩展到多轮、带工具的电商对话场景，提供商品发现、缺货替代、加购、退货、订单追踪、政策问答、组合规划、多意图旅程共 8 个可算法验证的环境，每个环境含程序化题目生成、12 轴难度课程与可验证奖励。
Hugging Face BlogAI 评分4747 AssetOpsBench：弥合 AI Agent 基准与工业现实的差距
Hugging Face 推出 AssetOpsBench，一个面向工业资产管理的 Agent 评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种故障模式，从任务完成、检索准确率、结果验证、序列正确性、清晰度与幻觉率六个维度打分。
Google ResearchAI 评分4747 Google Research 推出 Massive Sound Embedding Benchmark（MSEB）：面向听觉智能的新基准
Google Research 在 NeurIPS 2025 推出 Massive Sound Embedding Benchmark（MSEB），标准化评测转写、分类、检索、推理、分割、聚类、重排、重建八项听觉核心能力。
Hugging Face BlogAI 评分5555 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道并总结趋势
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，截至 21 Nov 2025 已对比来自 18 个机构的 60+ 开源与闭源模型、覆盖 11 个数据集，并配有一篇预印本总结趋势。
Hugging Face BlogAI 评分5656 Hugging Face 推出检索嵌入评测基准 RTEB 测试版
Hugging Face 发布检索嵌入基准 RTEB 的测试版，用于评估 embedding 模型在真实应用中的检索准确度。它采用公开与私有数据集混合策略，公开部分可复现，私有部分由 MTEB 维护者评测以保证公正，模型若在两者间表现落差明显即提示过拟合。
Hugging Face BlogAI 评分5555 Hugging Face 开源长视频理解基准 TimeScope：多数 SOTA 模型仍难真正理解长视频
Hugging Face 发布并开源长视频理解基准 TimeScope，通过在 1 分钟至 8 小时的视频中插入 5-10 秒短片作为“针”，以局部检索、信息综合、细粒度时序感知三类任务评估模型的真实时序理解能力。
Hugging Face BlogAI 评分5757 Hugging Face 推出 FutureBench：用预测未来事件评测 AI 智能体
Hugging Face 发布 FutureBench，通过让 AI 智能体预测未来事件来评测能力，以规避数据污染并获得可随时间验证的客观结果。题目来自两处：基于 smolagents 的智能体抓取新闻生成问题（用 DeepSeek-V3 推理、Firecrawl 抓取、Tavily 搜索，每次约 5 题、一周时间窗），以及 Polymarket 每周约 8 题并做筛选。
Hugging Face BlogAI 评分3636 Hugging Face 宣布 NeurIPS 2025 E2LM 竞赛：语言模型早期训练评测
Hugging Face 宣布 NeurIPS 2025 E2LM 竞赛，征集能捕捉 LLM 早期训练阶段（约 200B tokens 内）科学知识领域信号的新评测基准，参赛方案需基于 lm-evaluation-harness 库通过 Hugging Face Space 提交。
Hugging Face BlogAI 评分5555 Hugging Face 研究：结构化 JSON 输出让 CodeAgent 在多项基准上提升 2-7 个百分点
Hugging Face 发布研究，提出 Structured CodeAgent，让 CodeAgent 以 JSON 格式同时生成 thoughts 和 code 字段，在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均提升 2-7 个百分点。
Hugging Face Blog精选AI 评分6161 Hugging Face Open R1 发布 OpenR1-Math-220k 数学推理数据集
Hugging Face 的 Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k，用 512 张 H100 本地跑 DeepSeek R1 生成 800k 条推理轨迹，经 Math Verify 与 Llama3.3-70B-Instruct 判分过滤后保留 220k 道题的正确轨迹。
推荐理由：原文公开了数据生成与过滤的完整流水线和训练对照结果，读者可据此复现或迁移到其他领域。
Hugging Face BlogAI 评分5757 Hugging Face 与 Adyen 发布 DABStep 数据分析多步推理基准
Hugging Face 与 Adyen 联合发布 DABStep（Data Agent Benchmark for Multi-step Reasoning），包含 450+ 来自 Adyen 真实工作负载的数据分析任务，用于评估 LLM 与 AI 智能体的多步推理能力。
Hugging Face BlogAI 评分5555 Hugging Face 分析 Open LLM Leaderboard 模型推理的 CO₂ 排放
Hugging Face 对 Open LLM Leaderboard 上 2,742 个模型的推理 CO₂ 排放进行了分析，发现社区微调或合并模型通常比其官方基座模型更省碳。
Hugging Face BlogAI 评分4747 Hugging Face 发布 CinePile 2.0：用对抗式精炼打造更强的长视频 QA 数据集
Hugging Face 与合作方发布长视频 QA 数据集 CinePile 2.0，并开源了配套的对抗式数据集精炼（adversarial dataset refinement）方法实现。
Hugging Face BlogAI 评分3434 BenCzechMark：你的 LLM 懂捷克语吗？
Hugging Face 推出 BenCzechMark，这是首个全面评估大语言模型（LLM）捷克语能力的评测套件，包含 9 大类共 50 项任务，其中 90% 为原生非翻译内容。
Hugging Face BlogAI 评分5656 BigCodeBench 发布：面向复杂函数调用的代码生成评测基准
Hugging Face Blog 宣布发布 BigCodeBench，一个包含 1,140 个函数级任务、覆盖 139 个库的代码生成评测基准，每个任务平均含 5.6 个测试用例、平均分支覆盖率达 99%，旨在替代任务过于简单且易受数据污染影响的 HumanEval。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Open Medical-LLM Leaderboard 医疗大模型评测榜
Hugging Face 与 Open Life Science AI 推出 Open Medical-LLM Leaderboard，用 MedQA、MedMCQA、PubMedQA 及 MMLU 医学与生物学子集等数据集，以准确率为主要指标对比各模型的医疗问答能力。
Hugging Face BlogAI 评分5353 Hugging Face 发布 WebSight-v0.2 数据集与截图转 HTML 模型 Sightseer
Hugging Face 发布 WebSight-v0.2 数据集，用于训练将网页截图转换为 HTML 代码的 AI 系统，规模扩展至 200 万组截图/HTML 对，截图改用真实图片并切换到 Tailwind CSS。
Hugging Face BlogAI 评分5757 Hugging Face 研究：GPT-4 评测与人类标注的相关性及偏差
Hugging Face 扩展 Open LLM Leaderboard，用 Scale AI 人类标注与 GPT-4 评测对比 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 等开源模型在 327 条指令 prompt 上的表现。
Hugging Face BlogAI 评分5555 Hugging Face 推出文本嵌入基准 MTEB
Hugging Face 推出 MTEB 文本嵌入基准，涵盖 8 类任务、56 个数据集，榜单已汇总超过 2000 条结果，支持最多 112 种语言。
Hugging Face BlogAI 评分5555 Hugging Face 推出无提示词少样本微调框架 SetFit
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit，一个面向 Sentence Transformer 的高效少样本微调框架，无需提示词即可在少量标注数据上取得高准确率，例如在 Customer Reviews 情感数据集上每类仅 8 个标注样本即可与在 3k 全量样本上微调 RoBERTa Large 相竞争。
Hugging Face BlogAI 评分4444 TAPEX：用合成 SQL 执行数据做表格预训练的介绍
TAPEX 通过在合成语料上学习神经 SQL 执行器来完成表格预训练，无需真实数据，在 WikiSQL、WikiTableQuestions、SQA、TabFact 四个 benchmark 上全部刷新 SOTA。
Hugging Face BlogAI 评分5656 Hugging Face 用 DeDLOC 协作预训练孟加拉语模型 sahajBERT
Hugging Face 介绍新方法 DeDLOC，让志愿者通过互联网协作预训练语言模型，并用 40 名志愿者训练出孟加拉语模型 sahajBERT。