Hugging Face 发布 XYBench 基准：测试 AI 助手识别用户误解的能力
Hugging Face 与 Carnegie Mellon、NVIDIA、Johns Hopkins 研究人员合作发布 XYBench，一个包含 8,115 个真实问题的基准，用于测试 AI 助手能否识别用户提问中隐含的误解（XY 问题）并引导其解决真实目标，该论文获得 EMNLP 2026 最佳资源论文奖。
#评测/基准
Hugging Face BlogAI 评分5757
AWS Machine Learning BlogAI 评分5757 AWS 用 Agent DLC 讲解智能体从原型到生产的评测与发布流程
AWS Machine Learning Blog 发布教程，介绍 Agent Development Lifecycle（Agent DLC）：一个生命周期、两个循环，以统一的 gold standard 判定每次变更。
AWS Machine Learning BlogAI 评分5656 AWS 开源 UAEF：跨框架统一评测 AI 智能体的闭环系统
AWS 发布并开源 Universal Agent Evaluation Framework（UAEF），一个与框架无关的 AI 智能体闭环评测系统，已在电信、医疗、金融等 12 家组织中被用于用统一指标评估智能体并在发布前比较版本。
Hugging Face Blog精选AI 评分6262 Tether AI Research 开源 0.8B 端侧智能体模型 BotPsy
Tether AI Research 发布 BotPsy，一个基于 Qwen3.5-0.8B 构建、面向函数调用与智能体工作流的 0.8B 参数端侧模型，将以 Apache 2.0 许可开源权重，提供 bf16、Q8、Q4 三种精度的 safetensors 与 GGUF 文件。
推荐理由：原文给出四阶段训练配方与逐项基准对比，可据此理解小模型如何在工具调用上追平更大模型。
AWS Machine Learning BlogAI 评分4848 Amazon Bedrock AgentCore 评估手册：内置、DeepEval 与 AutoEval 评估器用法
AWS 发布 Amazon Bedrock AgentCore 评估指南，讲解如何用内置评估器及 DeepEval、AutoEval 托管评估器评估 agent 生产表现。
Google DeepMind精选AI 评分8888 Google DeepMind 开源 Gemini 4 Carbon 模型
Google DeepMind 宣布 Gemini 4 Carbon 正式面向开发者、企业、科学家和消费者开放，定位为最强模型，主打网络安全能力与长程智能体工作流。
推荐理由：原文给出定价、基准排名与安全数据，读者可据此对比 Carbon 与 Argon 的分工和迁移成本。
Google DeepMind精选AI 评分7474 Google DeepMind 发布 Gemini Robotics 2.5 视觉-语言-动作模型
Google DeepMind 发布 Gemini Robotics 2.5，称其为迄今最强的视觉-语言-动作（VLA）模型，提升机器人可学技能的广度与获取速度。
推荐理由：原文给出 Mercedes-Benz 产线 96% 成功率与越狱防御基准，读者可据此评估其工业落地与安全水平。
NVIDIA Blog精选AI 评分7474 NVIDIA 在 CoRL 发布 GR00T 2 世界动作模型与 Isaac Lab 3.0 等开放机器人技术
NVIDIA 在 CoRL 大会发布一系列开放机器人技术，包括基于 Cosmos 的开源世界动作模型 GR00T 2、Isaac Lab 3.0、Isaac Lab-Arena 0.4 开发者预览，以及 DexBench、VABAR 两个新工业评测基准。
推荐理由：原文系统梳理了从世界动作模型到仿真训练与评测基准的完整技术栈，可据此理解 NVIDIA 在机器人仿真训练上的整体布局。
OpenAI NewsAI 评分4444 OpenAI 推出 BioBasicsBench：衡量 AI 智能体处理日常湿实验科学的能力
OpenAI 推出 BioBasicsBench，一个包含 100 项任务的 benchmark，用于衡量 AI 智能体解读原始实验数据、处理日常湿实验科学的能力。该 benchmark 面向生物实验场景，评估智能体在真实科研数据上的表现。
Hugging Face Blog精选AI 评分6363 Hugging Face 推出 ToyBlocks 受控仿真框架用于机器人学习与评测
Hugging Face 与 AllenAI 推出 FoundationWorlds 框架及其首个基础世界 ToyBlocks，一个围绕机械臂与桌面积木的开源仿真环境，可自动生成任务与演示数据，无需人工遥操作。
推荐理由：通过受控仿真环境把数据生成、训练与评测打通，读者可据此理解机器人泛化与失败归因的可复现研究路径。
Hugging Face BlogAI 评分4040 Open ASR Leaderboard 新增埃及与尼日利亚英语口音私有数据
Hugging Face 与 Liva AI 合作，为 Open ASR Leaderboard 新增埃及和尼日利亚英语两个私有测试集，时长分别为 1.34 小时和 1.55 小时，均为带标点、区分大小写并保留不流畅片段的自发对话转写。
NVIDIA Blog精选AI 评分6262 NVIDIA Vera CPU 发布：兼顾 Agent 速度与每瓦容量
NVIDIA 宣布 Vera CPU 同时提供快速的 Agent 性能和高每瓦容量，让服务商用单一 CPU 覆盖各类 Agent 工作负载，无需混搭快与密集的 x86 部件。
推荐理由：原文用多家伙伴的实测数据说明 Vera 在速度与每瓦容量上的表现，便于评估其对 AI 工厂选型的影响。
AWS Machine Learning BlogAI 评分5252 Amazon Marketplace 用 Amazon SageMaker AI 评估 A+ Content 内容质量的实践
Amazon Marketplace 团队介绍了用 Amazon SageMaker AI 评估 A+ Content 内容质量的端到端方案：把完整商品详情页渲染成单张快照交给 VLM 按四个维度（Visual Storytelling、Feature Presentation、A+ Layout、Conversion Optimization）打分。
Hugging Face Blog精选AI 评分6767 Hugging Face 发布端侧 TTS 模型 Phonon 并开源权重
Hugging Face 发布可在本地设备运行的文本转语音模型 Phonon，无需服务器和网络，两周内下载量超过 200,000 次。模型提供约 65 MB 和 75 MB 两个尺寸，支持英语、法语、德语、西班牙语和葡萄牙语五种语言及 100 多个内置声音；Phonon 31m 仅支持英语并采用 Apache 2.0 许可，Phonon 40m 覆盖五种语言但限非商业使用。
推荐理由：原文交代了小模型兼顾音质与体积的技术路线、许可证差异和排行榜成绩，可帮助判断端侧语音方案的可用性。
AWS Machine Learning BlogAI 评分4444 如何在 Amazon Bedrock AgentCore Evaluations 中使用决策模型
AWS 博客讲解如何在 Amazon Bedrock AgentCore Evaluations 中通过 code-based evaluator 接入决策模型，示例接入 TypeSafe 的托管决策模型 Jev 和开源的 2B 参数模型 Strands Decider 2B。
Hugging Face BlogAI 评分5858 Dharma-AI 发布 20 亿参数文档字段抽取模型 Dharma Field Extractor
Dharma-AI 发布 Dharma Field Extractor，一个 20 亿参数模型，可从任意文档图像中按请求抽取字段并返回结构化 JSON，支持开放模式和指定 schema 两种请求方式，缺失字段返回 null 而非编造。
Hugging Face Blog精选AI 评分6060 Hugging Face 开源 CWE-bench v2：100 个任务覆盖 91 种 CWE
Hugging Face 与 Collinear AI 开源 CWE-bench v2，公开 100 个任务，覆盖 91 种 CWE，用于测试前沿模型发现并修复安全漏洞且不破坏现有功能的能力，评分完全程序化、可复现。
推荐理由：公开了 100 个任务的评分口径与成本数据，读者可据此判断模型在真实漏洞修复上的水平与代价。
Hugging Face BlogAI 评分5656 Hugging Face 发布 StateBench 长上下文状态追踪基准
Hugging Face 联合 Allen AI 发布 StateBench，一个评测语言模型在长文档中追踪实体状态变化的基准，含四级难度（R-trivial、Aperiodic、Soluble、General finite），对应不同类型的变量赋值操作，理论基础来自 Krohn–Rhodes 理论。
Hugging Face Blog精选AI 评分6262 IBM 用同一模型对比 CUGA、Hermes 与 Deep Agents 三个 Agent harness
IBM Research 用同一个开源模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比 CUGA、Hermes 和 Deep Agents 三个 harness，任务完成率分别为 81.1%、46.7% 和 30.0%，说明 harness 选择对结果影响很大。
推荐理由：同一模型换 harness 完成率从 30% 到 81%，这组对照数据能帮读者理解选型应匹配工作负载而非只看模型。
OpenAI NewsAI 评分4141 OpenAI 推出 LifeVal 基准，衡量 AI 助力日常任务的能力
OpenAI 推出 LifeVal 基准，衡量 AI 帮助人们完成日常任务的能力，涵盖寻找托儿服务、管理财务和办理政府文书等场景。
Microsoft ResearchAI 评分4747 Microsoft Research 推出 Industry Evaluation Data Generation Platform，用合成企业数据评估 Microsoft Copilot
Microsoft Research 推出 Industry Evaluation Data Generation Platform，通过全合成的企业环境（tenant）评估 Microsoft Copilot，避免使用真实客户敏感数据。
Google DeepMind精选AI 评分7575 Google DeepMind 发布 Gemini 4 Carbon，主打网络安全与长时任务能力
Google DeepMind 发布 Gemini 4 Carbon，称其为最强模型，在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一。
推荐理由：原文给出网络安全与长时任务的具体基准分数和对齐改进数据，读者可据此评估其在安全防御场景的实际能力定位。
AWS Machine Learning BlogAI 评分2020 AWS 连续第四年入选 2026 Gartner CCaaS 魔力象限领导者
AWS 凭借 Amazon Connect 连续第四年入选 2026 Gartner 联络中心即服务（CCaaS）魔力象限领导者。Amazon Connect Customer 成立于 2015 年，是面向客户体验的 agentic AI 解决方案，覆盖主动外呼、自助解决与坐席辅助全生命周期，已成为 AWS 历史上增长最快的服务之一。
AWS Machine Learning BlogAI 评分5656 Exowatt 用 SageMaker 无服务器微调让小模型在准确率上超过前沿模型
Exowatt 基于 Amazon SageMaker AI 无服务器模型定制构建可复用的微调流水线，产出面向边缘与云端的两个任务专用模型，在准确率上超过前沿模型且成本最多低 49 倍。
AWS Machine Learning BlogAI 评分5353 Property Finder 修正 Amazon Bedrock 评估偏差并以 86% 降本选出 Llama 4 Maverick 17B Instruct
Property Finder 发现其评估集 96.8% 的标签直接继承自单一模型预测，导致任何替代模型在比较中处于结构性劣势。团队由领域专家重新标注 356 张阿联酋图片（另用 230 张埃及图片做跨区域检查），改用多标签分类与 Micro F1 主指标，并以 v0 到 v27 的进化式提示词优化循环迭代，v27 用 MIPROv2 自动优化。
Hugging Face BlogAI 评分5858 Ai2 发布 Old Ideas, Novel Problems 研究与基准：LLM 评判研究想法新颖性并不可靠
Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据、代码和可复用评测流水线，测试 LLM 作为 novelty judge 评估科研想法新颖性的可靠性。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布卫星嵌入模型 OlmoEarth v1.3 及全球预计算嵌入
Hugging Face 发布 OlmoEarth v1.3 卫星嵌入模型，读取 Sentinel-1 雷达与 Sentinel-2、Landsat 多光谱时间序列。
推荐理由：原文给出了评测对比和训练成本变化，读者可据此判断其相对前代与同类模型的实际改进幅度。
Hugging Face BlogAI 评分5555 Hugging Face 推出 Granite 时间序列集成预测配方
Hugging Face 与 IBM Research 推出 Granite Timeseries Ensemble，用一个可扩展接口组合四个互补的 Granite 预训练时序模型，无需重训或拟合权重即可返回中位数与分位数预测。
Google Research精选AI 评分6565 Google Research 发表 JAMA Network Open 论文：AI 盲扫超声估算孕周精度媲美专家
Google Research 在 JAMA Network Open 发表论文，评估其 AI 孕周估算系统在芝加哥 Northwestern Medicine 与肯尼亚内罗毕 Jacaranda Health 两处临床环境中的泛化表现。
推荐理由：研究展示了AI在真实临床环境中跨硬件、跨地区的泛化能力，为低资源地区扩大产前超声覆盖提供了可参考的验证路径。
OpenAI NewsAI 评分3333 Terminal X 用 GPT-6.1 达到资深投资人判断 88.6% 匹配度
Terminal X 的 Eval Agent 用 GPT-6.1 Sol 对输出按 54 项评分标准打分，与资深投资人判断的匹配度达 88.6%，并比原有方式多捕捉 25% 偏离基金投资授权的输出。
Hugging Face Blog精选AI 评分6262 Ai2 发布 FairStress 基准，评估 LLM 决策中的隐性人口统计公平差异
Ai2 发布 FairStress 基准，用于测量 LLM 在最终选择之外的决策稳健性公平差异，包含 300 个双候选人场景、29 个领域，经人口统计身份与对抗前缀组合扩展至超过 1300 万测试用例，并提供 50K 项的 FairStress-Core 子集。
推荐理由：原文用对抗前缀揭示了输出层公平掩盖的决策稳健性差异，并给出相对有效的反事实 CoT 缓解方法。
Hugging Face Blog精选AI 评分6161 ALTK-Evolve 用学习记忆让 GPT-4.1 客服智能体登顶 τ²-bench
IBM Research 在 Hugging Face 发布 ALTK-Evolve，用 GPT-4.1 从智能体自身训练轨迹中蒸馏出行为规则并追加到系统提示词，在不更新权重、无人工标注的前提下提升客服智能体表现。
推荐理由：原文展示了不更新权重、仅靠提示词级学习记忆提升客服智能体可靠性与成本的具体路径和量化结果。
OpenAI NewsAI 评分4646 OpenAI 如何提升 ChatGPT 在低资源编程语言上的编码能力
OpenAI 正在改进 ChatGPT 在低资源编程语言上的表现，新增了针对软件工程、SQLite 和 COBOL 迁移的评测。这些评测用于衡量模型在小众或遗留语言上的编码与迁移能力。
AWS Machine Learning Blog精选AI 评分6262 AWS 用 Amazon Bedrock AgentCore 构建九阶段智能体评估框架
AWS SMGS Operations 团队分享了基于 Amazon Bedrock AgentCore Evaluations 的九阶段评估框架，覆盖从首次提交到生产响应的完整智能体生命周期，用于保障面向 AWS 全球现场销售的多智能体系统质量。
推荐理由：原文用真实生产故障和九阶段框架展示了如何把智能体质量从一次性验收变成贯穿生命周期的持续机制，可迁移性强。
Mistral AI精选AI 评分6161 Mistral AI 发布首个时序基础模型家族 Timestral
Mistral AI 发布首个时序基础模型家族 Timestral，最大 209M 参数版本在 GIFT-Eval、TIME 和 fev-bench 三大公开基准的预训练零样本模型中均排名第一，且参数量仅为前 SOTA 的三分之二。
推荐理由：原文给出了模型规模、基准名次与CPU推理延迟的具体数字，读者可据此判断小参数时序模型的落地可行性。
Hugging Face Blog精选AI 评分6262 Apertus 1.5 发布：8B 与 70B 模型新增多模态理解与思考模式
Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 模型基础上新增图像与音频理解、可选思考模式、4 倍更长的上下文窗口（262,144 tokens）、改进的指令遵循与工具使用，模型权重已于 7 月 24 日以 Apache 2.0 许可发布至 Hugging Face。
推荐理由：原文详述了从文本模型扩展到多模态的训练配方与各阶段开源产物，便于复现其开放开发路径。
AWS Machine Learning BlogAI 评分3838 用 Amazon SageMaker JumpStart 部署与评估模型
Amazon SageMaker JumpStart 提供预训练模型目录，可用 SageMaker Python SDK 部署模型、运行轻量可重复的性能测试并删除端点，实测单请求延迟 9.07 秒、约 153 词输出、16.9 words/second。
Hugging Face Blog精选AI 评分6767 Liquid AI 开源 LFM2.5-24B-A2B 端侧推理模型
Liquid AI 开源 LFM2.5-24B-A2B，一个 24B 参数、仅 2B 激活参数的推理模型，面向端侧快速私密的智能体场景，支持工具调用与多步任务。
推荐理由：给出了架构、训练流程与多组对比数据，读者可据此判断它在端侧智能体场景的取舍边界。
Microsoft ResearchAI 评分5757 Microsoft Research 发布 StudentSim 个性化学生模拟器研究
Microsoft Research 发布研究系统 StudentSim，用公开去标识学习记录训练个性化 AI 学生模拟器，用于在真人测试前评估和改进 AI 导师。
Microsoft ResearchAI 评分4444 Microsoft Research Podcast：AI 的意外失败与评测教训
Microsoft Research Podcast 采访了 Microsoft 合作研究经理、Purdue 计算机科学与统计学 Samuel D. Conte 讲席教授 Jennifer Neville，探讨评测如何推动 AI 系统性能边界，以及模型在传统 benchmark 之外测试时出现的"意外失败"。