GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查的开放离线基准，语料基于对 103.9M GitHub pull requests 的分析，包含 19 种语言、187 个公开仓库的 219 个 pull requests。
#评测/基准
GitHub Blog · AI & MLAI 评分5656
Hugging Face Blog精选AI 评分7474 Microsoft ThinkingBox 发布：按数据库终态评测智能体的基准与沙箱
Microsoft 与 Hugging Face 联合发布 ThinkingBox 沙箱与 ThinkingBox-Bench 基准，按智能体留下的后端终态与副作用而非其自述来打分，覆盖 507 个有状态业务工作流，每个任务独立运行 20 次。
推荐理由：文章用可执行的状态检查揭示工具调用正确不等于结果正确，并给出可复现的评测环境与复现步骤。
Hugging Face BlogAI 评分5454 Hugging Face 推出 Open TTS Leaderboard 多语言与声音克隆评测榜
Hugging Face 发布 Open TTS Leaderboard，用客观指标评估多语言 TTS 与声音克隆模型，包括用 Qwen3 ASR 计算 WER/CER 衡量可懂度、在 H200 GPU 上测 RTFx 与 TTFA 衡量速度、用 WavLM 嵌入余弦相似度衡量说话人相似度，评测一个模型的时间从收集投票的数周缩短到数小时。
OpenAI NewsAI 评分4545 Basis 用 GPT-6 Astra 完成税务工作簿速度提升 2 倍
GPT-6 Astra 完成 50 个标签页的税务工作簿速度是 GPT-5.6 Sol 的 2 倍，其更强的用户意图理解能力让 Basis 对实际使用更有信心。
OpenAI NewsAI 评分3232 OpenAI 推出 MentalHealthBench 心理健康评测基准
OpenAI 推出 MentalHealthBench，一个由专家参与设计的评测基准，用于评估 AI 在真实心理健康对话场景中回复的有用性与安全性。该基准覆盖心理健康对话中的典型情境，衡量模型在相关场景下的表现。
Hugging Face BlogAI 评分3434 英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 与 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
NVIDIA Blog精选AI 评分6363 NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中取得领先性能
NVIDIA 宣布 Vera Rubin NVL72 在 MLPerf Inference v6.1 首次提交中亮相，在 Qwen3-VL 上吞吐量较 GB300 NVL72 最高提升 3.7 倍，在 DeepSeek-R1 上最高提升 2.5 倍。
推荐理由：原文给出与上代系统的吞吐对比和扩展效率数据，读者可据此评估其推理经济性影响。
Hugging Face BlogAI 评分5757 Hugging Face 博客介绍 ALTK-Evolve 的一致性指南功能
Hugging Face 博客介绍了 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer：在 AppWorld test_normal（168 任务）上，GPT-4.1 驱动的 ReAct agent 平均 Mean@5 为 77.4%，但 Pass^5 仅 53.0%，存在 24.4pp 的一致性差距。
Hugging Face BlogAI 评分5656 BenchMIRT：审计 LLM 评测基准在题目层面究竟测量什么
Hugging Face 与 Allen AI 介绍 BenchMIRT，一种在单条题目层面审计 LLM 评测基准的方法，基于多维 IRT（MIRT）估计模型在各能力维度上的强度与每道题的难度和区分度。
Hugging Face Blog精选AI 评分6161 Open ASR Leaderboard 新增 Hindi 与 Indian English 评测集 Monsoon
Voice Arena 与 Hugging Face 合作向 Open ASR Leaderboard 新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，Hindi 成为该多语言标签页上的首个 Indic 语言。
推荐理由：原文用分区 WER 差异和 lattice 打分对比说明单一 WER 的盲区，读者可据此理解榜单评测的可迁移设计。
Google DeepMindAI 评分5555 Google DeepMind 试点全球首个双盲 AI 评测
Google DeepMind 宣布推出全球首个针对专有前沿模型的双盲评测，将外部评测限制在密码学“盒子”中，防止模型事后利用考题优化成绩。该评测与 Singapore AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作，在保护隐私的环境中用保密基准测试 Gemini Flash Lite 模型，以缓解基准污染问题、提升评测完整性。
OpenAI NewsAI 评分4646 ChatGPT 与批判性思维训练如何提升学生表现
一项覆盖 1,000 多名学生的随机对照研究考察了 ChatGPT 与批判性思维训练对学生在真实大学作业中表现的影响，关注其答案质量、思维广度与原创性。研究以随机分组方式评估学生使用 ChatGPT 后的作业表现。
Hugging Face Blog精选AI 评分6363 Hugging Face 研究提出三种测试量化语音识别中的基准优化现象
Hugging Face 发布研究，提出三种测试来量化语音识别中的基准优化（benchmaxxing）现象，并评测了 11 个广泛使用的开源 ASR 模型。
推荐理由：研究给出三种可量化探测方法与具体数据，读者可据此理解公开语音基准分数虚高的机制并改进自己的评测选择。
Hugging Face BlogAI 评分5656 Hugging Face 研究：Agent 记忆注入量应按模型能力校准
Hugging Face Blog 发文介绍 ALTK-Evolve 在 AppWorld 585 个多步任务、八个模型上的评测，结论是 Agent 记忆不是开关而是需按模型校准的剂量：有余量的强模型适合注入完整指南集，弱模型适合紧凑核心加按任务检索，饱和模型无可测增益。
Microsoft ResearchAI 评分4242 MindTopo：微软研究院推出评估多模态模型拓扑推理能力的新基准
微软研究院推出 MindTopo 基准，用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示，当前模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，图像与视频生成工具也难以在动作序列中稳定保持拓扑关系。
OpenAI NewsAI 评分2929 两个 API 设置如何让 GPT-5.6 在 ARC-AGI-3 上得分翻三倍
OpenAI 通过两个 API 设置——保留推理（retaining reasoning）和启用 compaction——使 GPT-5.6 在 ARC-AGI-3 benchmark 上的得分提升至原来的三倍，同时提高了效率。
OpenAI NewsAI 评分3636 OpenAI CFO 推出 AI 时代实用记分卡
OpenAI CFO Sarah Friar 提出一套面向 AI 时代的实用记分卡，通过有用工作量、每个成功任务的成本、可靠性以及算力回报四个维度衡量 AI 投资的 ROI。
Hugging Face BlogAI 评分4444 DharmaOCR 在葡萄牙语 benchmark 上超越 Mistral OCR4 与 Unlimited-OCR：领域专精的优势分析
DharmaOCR 在葡萄牙语专用 benchmark 上以 0.925 分超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587，后两者分别落后约 13 分和 16 分以上。
Hugging Face BlogAI 评分5454 Hugging Face 推出 Real World VoiceEQ 语音 AI 人类质量评测基准
Hugging Face 推出 Real World VoiceEQ，一个评估语音交互人类质量的基准，覆盖 40 多个领先闭源与开源语音模型、15+ 评测维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
OpenAI NewsAI 评分4545 OpenAI 分析 SWE-Bench Pro 编码评测中的信号与噪声问题
OpenAI 发布新分析，指出编码评测基准 SWE-Bench Pro 存在问题，引发对 AI 模型评测可靠性与准确性的担忧。
Google ResearchAI 评分4545 Google Research：如何通过协作减少交通拥堵
Google Research 在 Nature Cities 发表研究，通过修改 Google Maps 算法在美国 10 个大城市进行为期六个月的实验，仅改变不到 2% 的行程路线，就使目标路段车速中位数提升约 2%、燃油消耗率中位数下降 0.5% 至 1.0%。
Hugging Face BlogAI 评分5656 IBM Research 开源 ScarfBench：评测 AI 智能体的企业级 Java 框架迁移能力
IBM Research 推出开源基准 ScarfBench，用于评测 AI 智能体在 Enterprise Java 跨框架迁移任务上的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，包含 34 个应用、204 个迁移任务、约 151K 行代码和 1331 个专家编写的测试。
Hugging Face BlogAI 评分5454 Hugging Face 模型页接入 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，贡献者可用转换器把 EEE 记录写成 Hugging Face 所需的 YAML 文件，评测分数会显示在模型页并汇入基准排行榜，同时带来源徽章链回完整 EEE 记录。
OpenAI NewsAI 评分2929 OpenAI 推出 GeneBench-Pro 基准
OpenAI 推出 GeneBench-Pro，一个用于测试 AI 在基因组学、生物学和科研领域表现的新基准，采用复杂的真实世界数据集。
Hugging Face BlogAI 评分5151 Hugging Face 与 Treble 推出首个开源远场 ASR 评测榜单 FFASR
Hugging Face 与 Treble Technologies 联合上线 FFASR Leaderboard，首个开源社区驱动的远场 ASR 评测榜单，覆盖 14 间模拟房间并通过实测数据校验。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 agent-eval 基准工具，评测开源模型驱动智能体使用库的效率
Hugging Face 发布 agent-eval 基准工具，以 transformers 为案例，衡量智能体完成任务所花的轮次、token、时间和路径，而非只看最终答案。
推荐理由：通过对比不同模型规模下的实测结果，说明面向智能体的工具改动可能对大小模型产生相反效果。
OpenAI NewsAI 评分3636 OpenAI 推出 LifeSciBench 生命科学评测基准
OpenAI 推出 LifeSciBench，一个由专家撰写、专家评审的评测基准，用于评估 AI 系统处理真实世界生命科学研究任务与决策的能力。
OpenAI NewsAI 评分4545 OpenAI 通过模拟部署在发布前预测模型行为
OpenAI 推出 Deployment Simulation，利用真实对话数据在模型部署前预测其行为，以提升安全性和评估准确性。该方法在模型发布前即可评估其在真实使用场景中的表现。
OpenAI NewsAI 评分3636 OpenAI 分享可信第三方 AI 评测指南
OpenAI 分享了关于第三方 AI 评测的指导，涵盖如何评估前沿系统的能力、安全防护措施与评测有效性。
OpenAI NewsAI 评分2323 OpenAI 入选 Gartner 企业级 AI 编码智能体魔力象限领导者
OpenAI 在 2026 Gartner 企业级 AI 编码智能体魔力象限中被列为领导者，其 Codex 因创新能力和企业级部署规模获得认可。
Hugging Face Blog精选AI 评分7474 Hugging Face 发布 Ettin Reranker 系列六款 CrossEncoder 重排模型
Hugging Face 发布六个基于 Ettin ModernBERT 编码器的 Sentence Transformers CrossEncoder 重排模型，尺寸从 17M 到 1B，均以 Apache 2.0 开源，并同步公开训练数据 cross-encoder/ettin-reranker-v1-data（约 143M 三元组）和约 150 行的完整训练脚本。
推荐理由：给出了各尺寸的基准对比和消融数据，读者可据此判断何时该用它替换现有 reranker。
Hugging Face BlogAI 评分5555 Hugging Face Open ASR Leaderboard 引入私有数据集防刷榜
Hugging Face 为 Open ASR Leaderboard 引入与 Appen Inc. 和 DataoceanAI 合作的高质量私有英文 ASR 数据集，覆盖多种口音的朗读与对话语音，以防止 benchmaxxing 和测试集污染。
Hugging Face BlogAI 评分5050 Hugging Face 发布 QIMMA 阿拉伯语 LLM 质量优先榜单
Hugging Face 与 TII 团队发布 QIMMA 阿拉伯语 LLM 榜单，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 个领域，99% 为原生阿拉伯语内容，并首次纳入代码评测。
Hugging Face BlogAI 评分5656 Hugging Face 博客解读 VAKRA 基准：Agent 在工具链、多跳推理与策略约束下的失败模式
Hugging Face Blog 发文介绍 VAKRA——一个面向企业场景、可执行的 Agent 基准，包含 8,000+ 本地托管 API、62 个领域与配套文档集，任务需 3-7 步推理链。
Google ResearchAI 评分5757 Google Research 推出 Vantage：用生成式 AI 评估未来技能的研究实验
Google Research 与纽约大学合作推出 Vantage，一个面向高中和大学学生的研究实验，通过生成式 AI 在模拟环境中评估批判性思维、协作、创造性思维等未来技能，现已在 Google Labs 提供英文版注册。
Google ResearchAI 评分4545 Google Research 发布 ConvApparel 数据集：量化并弥合 LLM 用户模拟器的真实感差距
Google Research 发布 ConvApparel 数据集，包含服装购物领域 4,000+ 段人机多轮对话（近 15,000 轮），用于量化 LLM 用户模拟器与真实人类行为之间的差距。
Google ResearchAI 评分5757 Google Research 提出评估 LLM 行为倾向与人类对齐的框架
Google Research 提出一个框架，用情境判断测试（SJT）评估 LLM 行为倾向与人类行为的对齐程度，替代直接套用自陈问卷的做法。对 25 个 LLM 的大规模分析发现两类差距：模型倾向偏离人类标注者共识，以及在缺乏共识时无法反映人类意见的多样性。
Google ResearchAI 评分5555 Google Research 研究 AI 评测中每条样本需要多少标注者
Google Research 发布论文《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》，研究评测中标注条目数 N 与每条标注者数 K 的取舍。
Hugging Face BlogAI 评分5757 Hugging Face 发布语音智能体端到端评测框架 EVA
Hugging Face 发布 EVA，一个端到端评测对话式语音智能体的框架，用 bot-to-bot 音频架构评估完整多轮语音对话，输出 EVA-A（准确率）和 EVA-X（体验）两个分数，并首次联合打分任务成功与对话体验。
Google DeepMindAI 评分5757 Google DeepMind 发布 AGI 认知能力分类论文并联合 Kaggle 推出评测黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出包含感知、生成、注意、学习、记忆、推理、元认知、执行功能、问题解决、社会认知在内的 10 项关键认知能力分类，并给出三阶段评测协议：用保留测试集评估 AI、采集人口代表性成人基线、将 AI 表现映射到人类表现分布。