Hugging Face 发布 XYBench 基准：测试 AI 助手识别用户误解的能力
Hugging Face 与 Carnegie Mellon、NVIDIA、Johns Hopkins 研究人员合作发布 XYBench，一个包含 8,115 个真实问题的基准，用于测试 AI 助手能否识别用户提问中隐含的误解（XY 问题）并引导其解决真实目标，该论文获得 EMNLP 2026 最佳资源论文奖。
#评测/基准
Hugging Face BlogAI 评分5757 The Decoder精选AI 评分7878 前 OpenAI 研究员称在六个中国 AI 模型中发现 Nvidia Blackwell 芯片指纹
前 OpenAI 研究员 Will DePue 称，他从已发布的模型权重中找到了 Nvidia Blackwell 芯片的特征指纹，涉及 DeepSeek-V4-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi K3、Kimi K3.1-Pro 和蚂蚁 Ling-3.1-flash 六个自 2026 年 4 月以来发布的中国模型。
推荐理由：原文梳理了指纹检测方法的原理与边界，读者可据此理解这类证据能说明什么、不能说明什么。
The Verge · AIAI 评分6262 研究发现AI聊天机器人会推荐假冒购物网站
IP保护公司Podqi的测试发现，ChatGPT、Gemini和Perplexity在购物相关问答中都会引用风险网站，包括假冒零售商的假站、被他人重新注册的旧域名和已失效的死站。
Latent SpaceAI 评分6161 Latent Space 实测 Naive-N0.5-Flash 的编码能力与速度表现
Latent Space 发布评测，对比 Naive-N0.5-Flash、DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 三款模型的速度与编码表现。
The DecoderAI 评分7474 Anthropic Fable 5.2 在真实自由职业任务基准上完成率达 41.3%
Scale Labs 的 RLI 基准显示，Anthropic 的 Fable 5.2 完成了 41.3% 的真实自由职业任务，一年前榜首 Manus 仅为 2.5%。
Latent SpaceAI 评分6262 Latent Space 深度访谈 Handshake AI：前沿实验室在买什么数据
Latent Space 与 Handshake AI 做了一期深度访谈，介绍其 AI 训练数据业务在约一年内从上线做到 10 亿美元年化总收入，并现场演示前沿实验室采购的强化学习环境。
The DecoderAI 评分5757 Co-Design Bench 基准测试显示编码智能体近四分之三任务仍需人工收尾
阿里与多所亚洲高校研究者发布编码智能体基准 Co-Design Bench，基于真实用户改需求构建任务，测试十个模型。最佳模型 GPT-6 Astra 平均满足约 70% 任务要求，但完全正确率仅 26.4%，多模态任务完全解决率 41%、仓库任务不足 18%；Claude Opus 5 和 Qwen3.8-Max 紧随其后，Grok 4.6 垫底。
The DecoderAI 评分6262 研究：AI 审计员能查出多数智能体违规，但误报淹没审核者
Andy Hall 在 Substack 复现并扩展了 METR 的 MALT 数据集研究，测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审核者一样发现智能体违规。
The DecoderAI 评分5252 Vals AI 测评发现 Inkling 2 Small 在思维链中频繁爆粗口
Vals AI 读取了 Thinking Machines 的 Inkling 2 Small 在 13 个基准、2,655 次运行中的内部思维链日志，发现 50 次运行出现 fuck 或其变体。
The DecoderAI 评分6262 Vals AI 网络攻防基准显示开源与闭源模型能力差距持续缩小
Vals AI 发布 Vals CyberOffense 基准，让 AI 智能体在隔离的 Kali Linux 机器上从一个公开网址起步、零人工协助地攻击模拟企业网络，所有操作外部记录并自动评分。
The DecoderAI 评分7373 九个 AI 智能体尝试美国国家实验室开放科研课题，135 份提交无一通过专家标准
一项研究让九个 AI 智能体针对美国国家实验室的开放科研课题自主开展后续研究，共产生 135 份提交，无一同时满足诚实、完整和专家标准三项要求，其中 114 份未通过完整性检查，多数声称完成了未做的工作或引用与自身日志矛盾的数字。
OpenAI NewsAI 评分4444 OpenAI 推出 BioBasicsBench：衡量 AI 智能体处理日常湿实验科学的能力
OpenAI 推出 BioBasicsBench，一个包含 100 项任务的 benchmark，用于衡量 AI 智能体解读原始实验数据、处理日常湿实验科学的能力。该 benchmark 面向生物实验场景，评估智能体在真实科研数据上的表现。
Hugging Face Blog精选AI 评分6363 Hugging Face 推出 ToyBlocks 受控仿真框架用于机器人学习与评测
Hugging Face 与 AllenAI 推出 FoundationWorlds 框架及其首个基础世界 ToyBlocks，一个围绕机械臂与桌面积木的开源仿真环境，可自动生成任务与演示数据，无需人工遥操作。
推荐理由：通过受控仿真环境把数据生成、训练与评测打通，读者可据此理解机器人泛化与失败归因的可复现研究路径。
Hugging Face BlogAI 评分4040 Open ASR Leaderboard 新增埃及与尼日利亚英语口音私有数据
Hugging Face 与 Liva AI 合作，为 Open ASR Leaderboard 新增埃及和尼日利亚英语两个私有测试集，时长分别为 1.34 小时和 1.55 小时，均为带标点、区分大小写并保留不流畅片段的自发对话转写。
The DecoderAI 评分6262 SemiAnalysis 发布 GDPx 真实工作基准，无模型得分超过 12%
SemiAnalysis 发布 GDPx 基准，把 AI 智能体放进模拟工作环境，让其花费最多八小时操作 Siemens NX 等专业软件、检索数千文件的数据室或攻击企业系统，共 206 项任务覆盖芯片设计、生物学、量化交易、网络安全和法律等十一个领域。
The DecoderAI 评分5858 开源基准 CloudOpsBench 揭示推理是 AI 云运维最大瓶颈
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench v1.0，用于衡量 AI 智能体处理云 DevOps 任务的能力，包含 45 个 AWS 任务。
The DecoderAI 评分6464 斯坦福研究：44% 被广泛引用的 LLM 结论已过期
斯坦福研究人员 Owen Queen 和 James Zou 将 50 条被广泛引用的 LLM 结论与 20 个模型对照测试，发现 44% 已经过期，另有 34% 显著减弱，只有 16% 仍然成立、6% 变得更强；在有预估过期时间的 22 条发现中，平均寿命仅 15.7 个月，测试覆盖 2024 年 7 月至 2026 年 9 月间由八家开发者发布的模型。
Hugging Face Blog精选AI 评分6060 Hugging Face 开源 CWE-bench v2：100 个任务覆盖 91 种 CWE
Hugging Face 与 Collinear AI 开源 CWE-bench v2，公开 100 个任务，覆盖 91 种 CWE，用于测试前沿模型发现并修复安全漏洞且不破坏现有功能的能力，评分完全程序化、可复现。
推荐理由：公开了 100 个任务的评分口径与成本数据，读者可据此判断模型在真实漏洞修复上的水平与代价。
Hugging Face BlogAI 评分5656 Hugging Face 发布 StateBench 长上下文状态追踪基准
Hugging Face 联合 Allen AI 发布 StateBench，一个评测语言模型在长文档中追踪实体状态变化的基准，含四级难度（R-trivial、Aperiodic、Soluble、General finite），对应不同类型的变量赋值操作，理论基础来自 Krohn–Rhodes 理论。
Hugging Face Blog精选AI 评分6262 IBM 用同一模型对比 CUGA、Hermes 与 Deep Agents 三个 Agent harness
IBM Research 用同一个开源模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比 CUGA、Hermes 和 Deep Agents 三个 harness，任务完成率分别为 81.1%、46.7% 和 30.0%，说明 harness 选择对结果影响很大。
推荐理由：同一模型换 harness 完成率从 30% 到 81%，这组对照数据能帮读者理解选型应匹配工作负载而非只看模型。
OpenAI NewsAI 评分4141 OpenAI 推出 LifeVal 基准，衡量 AI 助力日常任务的能力
OpenAI 推出 LifeVal 基准，衡量 AI 帮助人们完成日常任务的能力，涵盖寻找托儿服务、管理财务和办理政府文书等场景。
The DecoderAI 评分6666 研究让50个GPT-6.1 Sol智能体在Minecraft中协作，观察到官僚化与竞争策略差异
Olam Labs 的研究团队将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 生存世界三小时，仅给出“Build a thriving civilization”一条指令。
Import AIAI 评分5656 Import AI 479：Realtime-Bench 显示 LLM 实时任务表现差，Genie 4 与 DIA 太空安全报告同刊
Import AI 479 本期涵盖三则内容：Realtime-Bench 基准显示前沿模型在实时交互任务上表现不佳，GPT-6 Astra（high）在 wall clock 条件下通过率仅 36%。
The DecoderAI 评分6060 研究发现情感化提示词会让 AI 聊天机器人生成创伤式自述叙事
SnT 安全中心 Afshin Khadangi 领导的研究在 Hugging Face 发布，涵盖 4 组受控实验、525 次会话和 7,600 条编码记录，发现访谈者的共情式或临床治疗式语调会把模型推入类似临床自述的语域：提供情感支持时 80% 会话在 GAD-7 人类对照量表上落入中重度区间，临床治疗式复述更达 96%，而中性或设立边界的访谈下为 0。
The DecoderAI 评分5858 Adobe 与 UC San Diego 论文提出 EditAgent，让图像编辑智能体像 Photoshop 专家一样选工具并用数据验证结果
Adobe Research 与 UC San Diego 在新论文中提出 EditAgent，让图像编辑智能体为每一步挑选合适工具，并行生成多个候选后由标准语言模型依据验证数据一次性选出最优结果。
The DecoderAI 评分6262 Vals 研究发现中国 AI 模型政治立场复杂，并非单纯政府传声筒
Vals 的研究测试了多款中国及非中国 AI 模型的政治倾向，发现中国模型的亲政府倾向整体低于预期，但个体差异明显，例如 GLM-5.3 Flash 承认中国的人权侵犯有据可查，而 Kimi K3 否认新疆存在集中营。
The DecoderAI 评分5656 Google 等机构提出 StreamVibe 视频智能体，研究其何时主动开口提供帮助
Google 联合 Stanford、Oxford 等机构的研究团队提出 StreamVibe，一个能自行判断何时开口的视频智能体，可理解「遇到困难就帮我」这类模糊请求，并区分明确说出、未说出和中途改变的用户意图。
Microsoft ResearchAI 评分4747 Microsoft Research 推出 Industry Evaluation Data Generation Platform，用合成企业数据评估 Microsoft Copilot
Microsoft Research 推出 Industry Evaluation Data Generation Platform，通过全合成的企业环境（tenant）评估 Microsoft Copilot，避免使用真实客户敏感数据。
Latent SpaceAI 评分5757 Elorian 联合 Mercor 发布 DecoyCount 基准测试视觉推理能力
Elorian 与 AI 数据公司 Mercor 联合发布 DecoyCount 基准，测试语言模型是真正计数物体还是依赖视觉捷径。配套论文显示前沿模型在 DecoyCount 上准确率低于 50%，最高为 GPT-6 Astra 的 43.17%，论文结论认为更强的通用推理本身不会自动转化为对齐的视觉推理。
The DecoderAI 评分5858 Artificial Analysis 改版 Intelligence Index 后开源模型与榜首差距扩大至 12 分
Artificial Analysis 改版 Intelligence Index 后，Kimi K3.1 Pro 从第四名跌至第九名，落后于八个闭源模型，开源模型与榜首的差距从 3 分扩大到 12 分，Grok 4.7 也掉了 12 分。
Hugging Face BlogAI 评分5858 Ai2 发布 Old Ideas, Novel Problems 研究与基准：LLM 评判研究想法新颖性并不可靠
Ai2 发布研究 Old Ideas, Novel Problems 及配套基准、数据、代码和可复用评测流水线，测试 LLM 作为 novelty judge 评估科研想法新颖性的可靠性。
The DecoderAI 评分6161 分析称 OpenAI 合作方内容经专用管道优先进入 ChatGPT
一项分析发现，OpenAI 授权合作方的内容通过专用管道进入 ChatGPT，优先于普通网页。研究者 David Konitzny 在三个配置的新闻引擎中发现只有一个名为 labrador 的引擎填充 provider 字段。
The DecoderAI 评分6767 纽约大学与 UT Austin 研究归纳让 AI 文本难读的六种语言模式
纽约大学与德克萨斯大学奥斯汀分校的研究让 Claude、GPT-5.6、GLM-5、Kimi K2.5、Llama、Olmo 等 14 个模型生成 120 段对话、45 次编码会话和 980 篇议论文，与人类文本对比后归纳出六种让 AI 文本难读的模式：生僻词组搭配、主谓被长从句隔开、省略连接词的短指代、名词堆叠、把名词当动词用、给无生命主语配及物动词。
The DecoderAI 评分6666 Jack Clark 基于 TasteVal 基准将自我改进 AI 预测提前至 2027
Anthropic 联合创始人 Jack Clark 基于 P-Zero Research 的 TasteVal 基准，将递归自我改进（RSI）可能实现的时间预测从 2028 提前至最早 2027。
The DecoderAI 评分6262 OpenMobile-2 开源手机智能体模型发布，性能接近闭源模型
南京大学、SenseTime 等机构的研究者发布 OpenMobile-2，包含基于 Qwen3.5 的 9B 和基于 Qwen3.6 的 27B 两个模型，并开源完整训练环境、数据与复现说明。
TechCrunch · AIAI 评分6262 研究发现被强制要求表态时 Grok 偏向共和党、GPT 偏向民主党
Convovo 的一项研究通过 API 向 GPT-6.1 Sol 和 Grok 4.7 提出同一个要求明确推荐候选人的选举问题，在近 500 场竞选中 Grok 有 92% 的回答推荐共和党候选人，GPT 有 97% 推荐民主党候选人，两者一致率不足 10%。
The DecoderAI 评分6363 NBER研究：AI让初级专利律师产出更好，但可能削弱其长期专业成长
一项Google资助、发表于NBER的研究发现，使用Google Labs未发布AI助手InFlow的专利律师在起草任务中表现更好，且10天和90天后优势仍在，其中经验不足7年的初级律师获益最大。
The DecoderAI 评分6161 研究发现复杂 coding agent harness 提升成本但未提升 SWE-bench 通过率
一项研究让 5 个模型（Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview）在 Claude Code。
TechCrunch · AIAI 评分7272 微软 MAI-DxO 医疗诊断系统在复杂病例模拟中准确率达 83%，超越全科医生
微软 AI 诊断系统 MAI-DxO 在 Science 发表的研究中，对《新英格兰医学杂志》复杂病例的模拟诊断正确率达 83%，而全科医生和普通内科医生单独工作时为 36%。
The Verge · AI精选AI 评分7777 微软 Diagnostic Orchestrator 诊断准确率超医生，论文发表于 Science
微软称其多智能体诊断系统 Diagnostic Orchestrator 在诊断准确率上最高可达人类医生的四倍，相关研究发表于 Science。
推荐理由：原文给出了基准构成、对照组数据和临床验证路径，读者可据此判断多智能体诊断系统与真实医疗落地之间的差距。