OpenAI CFO 推出 AI 时代实用记分卡
OpenAI CFO Sarah Friar 提出一套面向 AI 时代的实用记分卡，通过有用工作量、每个成功任务的成本、可靠性以及算力回报四个维度衡量 AI 投资的 ROI。
#评测/基准
OpenAI NewsAI 评分3636
Hugging Face BlogAI 评分4444 DharmaOCR 在葡萄牙语 benchmark 上超越 Mistral OCR4 与 Unlimited-OCR：领域专精的优势分析
DharmaOCR 在葡萄牙语专用 benchmark 上以 0.925 分超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587，后两者分别落后约 13 分和 16 分以上。
Hugging Face BlogAI 评分5454 Hugging Face 推出 Real World VoiceEQ 语音 AI 人类质量评测基准
Hugging Face 推出 Real World VoiceEQ，一个评估语音交互人类质量的基准，覆盖 40 多个领先闭源与开源语音模型、15+ 评测维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
OpenAI NewsAI 评分4545 OpenAI 分析 SWE-Bench Pro 编码评测中的信号与噪声问题
OpenAI 发布新分析，指出编码评测基准 SWE-Bench Pro 存在问题，引发对 AI 模型评测可靠性与准确性的担忧。
Google ResearchAI 评分4545 Google Research：如何通过协作减少交通拥堵
Google Research 在 Nature Cities 发表研究，通过修改 Google Maps 算法在美国 10 个大城市进行为期六个月的实验，仅改变不到 2% 的行程路线，就使目标路段车速中位数提升约 2%、燃油消耗率中位数下降 0.5% 至 1.0%。
Import AIAI 评分6161 Import AI 464：Fable 写出 GPU kernel、AI 自动化与模拟计算
本期 Import AI 周刊报道 Fable 在 KernelBench-Mega 上提交首个真正的 megakernel，在 RTX PRO 6000 Blackwell 上用 Cuda 代码实现 18.71X 加速。
Hugging Face BlogAI 评分5656 IBM Research 开源 ScarfBench：评测 AI 智能体的企业级 Java 框架迁移能力
IBM Research 推出开源基准 ScarfBench，用于评测 AI 智能体在 Enterprise Java 跨框架迁移任务上的表现，覆盖 Spring、Jakarta EE、Quarkus 三大生态，包含 34 个应用、204 个迁移任务、约 151K 行代码和 1331 个专家编写的测试。
Hugging Face BlogAI 评分5454 Hugging Face 模型页接入 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，贡献者可用转换器把 EEE 记录写成 Hugging Face 所需的 YAML 文件，评测分数会显示在模型页并汇入基准排行榜，同时带来源徽章链回完整 EEE 记录。
OpenAI NewsAI 评分2929 OpenAI 推出 GeneBench-Pro 基准
OpenAI 推出 GeneBench-Pro，一个用于测试 AI 在基因组学、生物学和科研领域表现的新基准，采用复杂的真实世界数据集。
Hugging Face BlogAI 评分5151 Hugging Face 与 Treble 推出首个开源远场 ASR 评测榜单 FFASR
Hugging Face 与 Treble Technologies 联合上线 FFASR Leaderboard，首个开源社区驱动的远场 ASR 评测榜单，覆盖 14 间模拟房间并通过实测数据校验。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 agent-eval 基准工具，评测开源模型驱动智能体使用库的效率
Hugging Face 发布 agent-eval 基准工具，以 transformers 为案例，衡量智能体完成任务所花的轮次、token、时间和路径，而非只看最终答案。
推荐理由：通过对比不同模型规模下的实测结果，说明面向智能体的工具改动可能对大小模型产生相反效果。
OpenAI NewsAI 评分3636 OpenAI 推出 LifeSciBench 生命科学评测基准
OpenAI 推出 LifeSciBench，一个由专家撰写、专家评审的评测基准，用于评估 AI 系统处理真实世界生命科学研究任务与决策的能力。
OpenAI NewsAI 评分4545 OpenAI 通过模拟部署在发布前预测模型行为
OpenAI 推出 Deployment Simulation，利用真实对话数据在模型部署前预测其行为，以提升安全性和评估准确性。该方法在模型发布前即可评估其在真实使用场景中的表现。
Import AIAI 评分5858 Import AI 461：对齐进展、FrontierCode 与科研智能体评测
本期 Import AI 报道英国 AI Security Institute 对齐团队与 Timaeus 研究者成立非营利机构 Sequent，目标两年内达 40-80 名全职员工、初期募资 $100–150M，聚焦可扩展启发式论证等对齐方向。
OpenAI NewsAI 评分3636 OpenAI 分享可信第三方 AI 评测指南
OpenAI 分享了关于第三方 AI 评测的指导，涵盖如何评估前沿系统的能力、安全防护措施与评测有效性。
OpenAI NewsAI 评分2323 OpenAI 入选 Gartner 企业级 AI 编码智能体魔力象限领导者
OpenAI 在 2026 Gartner 企业级 AI 编码智能体魔力象限中被列为领导者，其 Codex 因创新能力和企业级部署规模获得认可。
Hugging Face Blog精选AI 评分7474 Hugging Face 发布 Ettin Reranker 系列六款 CrossEncoder 重排模型
Hugging Face 发布六个基于 Ettin ModernBERT 编码器的 Sentence Transformers CrossEncoder 重排模型，尺寸从 17M 到 1B，均以 Apache 2.0 开源，并同步公开训练数据 cross-encoder/ettin-reranker-v1-data（约 143M 三元组）和约 150 行的完整训练脚本。
推荐理由：给出了各尺寸的基准对比和消融数据，读者可据此判断何时该用它替换现有 reranker。
Hugging Face BlogAI 评分5555 Hugging Face Open ASR Leaderboard 引入私有数据集防刷榜
Hugging Face 为 Open ASR Leaderboard 引入与 Appen Inc. 和 DataoceanAI 合作的高质量私有英文 ASR 数据集，覆盖多种口音的朗读与对话语音，以防止 benchmaxxing 和测试集污染。
Hugging Face BlogAI 评分5050 Hugging Face 发布 QIMMA 阿拉伯语 LLM 质量优先榜单
Hugging Face 与 TII 团队发布 QIMMA 阿拉伯语 LLM 榜单，整合 14 个来源基准的 109 个子集、超 52,000 条样本，覆盖 7 个领域，99% 为原生阿拉伯语内容，并首次纳入代码评测。
Hugging Face BlogAI 评分5656 Hugging Face 博客解读 VAKRA 基准：Agent 在工具链、多跳推理与策略约束下的失败模式
Hugging Face Blog 发文介绍 VAKRA——一个面向企业场景、可执行的 Agent 基准，包含 8,000+ 本地托管 API、62 个领域与配套文档集，任务需 3-7 步推理链。
Google ResearchAI 评分5757 Google Research 推出 Vantage：用生成式 AI 评估未来技能的研究实验
Google Research 与纽约大学合作推出 Vantage，一个面向高中和大学学生的研究实验，通过生成式 AI 在模拟环境中评估批判性思维、协作、创造性思维等未来技能，现已在 Google Labs 提供英文版注册。
Google ResearchAI 评分4545 Google Research 发布 ConvApparel 数据集：量化并弥合 LLM 用户模拟器的真实感差距
Google Research 发布 ConvApparel 数据集，包含服装购物领域 4,000+ 段人机多轮对话（近 15,000 轮），用于量化 LLM 用户模拟器与真实人类行为之间的差距。
Google ResearchAI 评分5757 Google Research 提出评估 LLM 行为倾向与人类对齐的框架
Google Research 提出一个框架，用情境判断测试（SJT）评估 LLM 行为倾向与人类行为的对齐程度，替代直接套用自陈问卷的做法。对 25 个 LLM 的大规模分析发现两类差距：模型倾向偏离人类标注者共识，以及在缺乏共识时无法反映人类意见的多样性。
Google ResearchAI 评分5555 Google Research 研究 AI 评测中每条样本需要多少标注者
Google Research 发布论文《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》，研究评测中标注条目数 N 与每条标注者数 K 的取舍。
Hugging Face BlogAI 评分5757 Hugging Face 发布语音智能体端到端评测框架 EVA
Hugging Face 发布 EVA，一个端到端评测对话式语音智能体的框架，用 bot-to-bot 音频架构评估完整多轮语音对话，输出 EVA-A（准确率）和 EVA-X（体验）两个分数，并首次联合打分任务成功与对话体验。
Google DeepMindAI 评分5757 Google DeepMind 发布 AGI 认知能力分类论文并联合 Kaggle 推出评测黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出包含感知、生成、注意、学习、记忆、推理、元认知、执行功能、问题解决、社会认知在内的 10 项关键认知能力分类，并给出三阶段评测协议：用保留测试集评估 AI、采集人口代表性成人基线、将 AI 表现映射到人类表现分布。
Google ResearchAI 评分5656 Google Research 论文评测 6 个 LLM 回答超导研究专家问题
Google Research 与 Cornell University 合作在 PNAS 发表论文，用 67 道高温超导专家问题评测 6 个 LLM（GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 及自建 RAG 系统），由专家按 0-2 分六项指标盲评。
OpenAI NewsAI 评分3434 OpenAI 与 Pacific Northwest National Laboratory 合作加速联邦许可审批
OpenAI 与 Pacific Northwest National Laboratory 推出 DraftNEPABench，评估 AI 编码智能体加速联邦许可审批的能力，显示可将 NEPA 起草时间最多缩短 15%，推动基础设施审查现代化。
OpenAI NewsAI 评分4747 OpenAI：为何我们不再评测 SWE-bench Verified
OpenAI 宣布不再评测 SWE-bench Verified，称该基准日益受到数据污染，无法准确衡量前沿编码能力进展。其分析发现该基准存在测试用例缺陷与训练数据泄漏问题。OpenAI 建议改用 SWE-bench Pro。
OpenAI NewsAI 评分3333 OpenAI 分享 First Proof 数学挑战的 AI 证明尝试
OpenAI 公开了其 AI 模型针对 First Proof 数学挑战提交的证明尝试，在专家级问题上测试研究级推理能力。
Hugging Face BlogAI 评分5757 IBM 与 UC Berkeley 用 IT-Bench 和 MAST 诊断企业智能体失败原因
IBM Research 与 UC Berkeley 合作用 MAST 失败分类法分析 ITBench 的 310 条 SRE 执行轨迹，把原始日志转成结构化失败签名。
OpenAI NewsAI 评分4545 OpenAI 与 Paradigm 推出 EVMbench 智能合约漏洞评测基准
OpenAI 与 Paradigm 联合推出 EVMbench，用于评测 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准面向智能合约安全场景，衡量 AI 智能体在漏洞发现与修复任务上的表现。
Hugging Face Blog精选AI 评分6060 Hugging Face 推出 Community Evals：模型自存评测分数、社区可提交榜单结果
Hugging Face 推出 Community Evals，让基准数据集仓库可托管排行榜，模型仓库自行存储评测分数，社区可通过 PR 提交结果，Verified 徽章标识可复现的结果。
推荐理由：原文说明了分数分散在各处的问题和去中心化上报机制，读者可理解它如何让评测过程变得可追溯。
Hugging Face BlogAI 评分4747 H Company 的 Holo2-235B-A22B Preview 在 UI 本地化上取得领先
H Company 发布了迄今最大的 UI 本地化模型 Holo2-235B-A22B Preview，在 Screenspot-Pro 上以 78.5%、OSWorld G 上以 79.0% 刷新 SOTA，现已上线 Hugging Face。
Hugging Face BlogAI 评分3636 Alyah：面向阿拉伯语大语言模型的阿联酋方言能力评测基准
Hugging Face 团队推出阿联酋方言评测基准 Alyah，含 1,173 个人工采集的四选一选择题样本，覆盖问候、诗歌、历史遗产等 7 类内容。
Hugging Face BlogAI 评分4747 AssetOpsBench：弥合 AI Agent 基准与工业现实的差距
Hugging Face 推出 AssetOpsBench，一个面向工业资产管理的 Agent 评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种故障模式，从任务完成、检索准确率、结果验证、序列正确性、清晰度与幻觉率六个维度打分。
Hugging Face BlogAI 评分5656 NVIDIA 用 NeMo Evaluator 复现 Nemotron 3 Nano 30B A3B 评测结果
NVIDIA 发布 Nemotron 3 Nano 30B A3B 的完整评测配方，用开源的 NeMo Evaluator 库公开配置、日志与产物，供任何人复跑评测管线并独立核验模型卡结果。
OpenAI NewsAI 评分4545 OpenAI 推出 FrontierScience 基准，评测 AI 执行科研任务的能力
OpenAI 推出 FrontierScience 基准，用于测试 AI 在物理、化学和生物学领域的推理能力，衡量其向真实科研任务迈进的进展。
OpenAI NewsAI 评分4747 OpenAI 评估 AI 加速生物研究能力的框架
OpenAI 推出一套真实世界评估框架，用于衡量 AI 加速湿实验生物研究的能力。该工作使用 GPT-5 优化分子克隆实验方案，探索 AI 辅助实验的潜力与风险。
Google DeepMindAI 评分5555 Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite 评测大语言模型事实性
Google DeepMind 联合 Kaggle 推出 FACTS Benchmark Suite，包含 Parametric、Search、Multimodal 三个新基准及更新版 Grounding v2，共 3,513 个样例并公开发布，Kaggle 负责管理私有集、测试主流 LLM 并运营公开榜单。