Hugging Face 发布 XYBench 基准:测试 AI 助手识别用户误解的能力
Hugging Face 与 Carnegie Mellon、NVIDIA、Johns Hopkins 研究人员合作发布 XYBench,一个包含 8,115 个真实问题的基准,用于测试 AI 助手能否识别用户提问中隐含的误解(XY 问题)并引导其解决真实目标,该论文获得 EMNLP 2026 最佳资源论文奖。
Hugging Face 与 Carnegie Mellon、NVIDIA、Johns Hopkins 研究人员合作发布 XYBench,一个包含 8,115 个真实问题的基准,用于测试 AI 助手能否识别用户提问中隐含的误解(XY 问题)并引导其解决真实目标,该论文获得 EMNLP 2026 最佳资源论文奖。
前 OpenAI 研究员 Will DePue 称,他从已发布的模型权重中找到了 Nvidia Blackwell 芯片的特征指纹,涉及 DeepSeek-V4-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi K3、Kimi K3.1-Pro 和蚂蚁 Ling-3.1-flash 六个自 2026 年 4 月以来发布的中国模型。
推荐理由:原文梳理了指纹检测方法的原理与边界,读者可据此理解这类证据能说明什么、不能说明什么。
Google 发布 Gemini 4 家族最低价成员 Gemini 4 Hydrogen,输入 $1.50/M、缓存输入 $0.075/M、输出 $7.50/M,目前相对 Carbon 和 Argon 仅便宜 25%,12 月 1 日后 Carbon 与 Argon 涨价至 $4.00/$0.20/$20.00 时 Hydrogen 才相当于 75% 折扣。
Google 发布新模型 Gemini 4 Hydrogen,称其能更好地回答多部分、含难懂错别字或高度具体的复杂问题,可拆解问题并逐部分作答。
Google 发布 Gemini 4 Hydrogen,一款面向开发者和日常用户的快速通用模型,据称在 Artificial Analysis Intelligence Index 默认 high 思考档上以 51 对 50 超过更大的 Gemini 4 Argon,xhigh 档可达 54,仅次于 Claude Sonnet 5.5 和 GPT-6.1 Sol 的 55。
同一件事,精选收录的是《Google DeepMind 发布 Gemini 4 Hydrogen 模型》
Google 推出 Gemini 4 Hydrogen,取代其产品线中的 Gemini 3.8 Flash,面向用户立即开放,不像此前 Argon 和 Carbon 那样分阶段限制访问。该模型提供 low、medium、high 和新增的 xhigh 四档思考级别,Google 称即使在 high 模式下速度也比 Flash 3.8 快 2.5 倍,
推荐理由:原文给出了 Hydrogen 相对 3.8 Flash 的速度、幻觉与代码能力对比数据,读者可据此判断这次替换对日常使用的影响。
IP保护公司Podqi的测试发现,ChatGPT、Gemini和Perplexity在购物相关问答中都会引用风险网站,包括假冒零售商的假站、被他人重新注册的旧域名和已失效的死站。
AWS Machine Learning Blog 发布教程,介绍 Agent Development Lifecycle(Agent DLC):一个生命周期、两个循环,以统一的 gold standard 判定每次变更。
Google 在 AIE CODE 活动期间发布 Gemini Decision 1 和 Decisions API,这是一款校准的多模态决策模型,支持 yes/no、多选和评分任务,单次请求最多 1000 个问题,256K 上下文,端到端返回 150–250 ms,每个答案附带置信度。
Google DeepMind 推出 Gemini Decisions API,配套模型 Gemini Decision 1 可在一次处理中完成最多 1,000 个独立问题,覆盖文本、图像、音频、视频和 PDF,直接给出选项评分与带置信度的概率,延迟为 150 至 250 毫秒。
AWS 发布并开源 Universal Agent Evaluation Framework(UAEF),一个与框架无关的 AI 智能体闭环评测系统,已在电信、医疗、金融等 12 家组织中被用于用统一指标评估智能体并在发布前比较版本。
Mercor 完成 750M Series D 融资,估值 20B,年化收入达 3B run rate,据称在 27 个月内完成这一爬坡。该公司报告拥有 5 million experts,并引用其 TAM 表述称仅美国就有 800 多种职业的工作流尚未被模型评估。文中还引用其说法称公司在 inference 上的支出已是员工薪酬的 3 倍,且因团队变强而回本。
Tether AI Research 发布 BotPsy,一个基于 Qwen3.5-0.8B 构建、面向函数调用与智能体工作流的 0.8B 参数端侧模型,将以 Apache 2.0 许可开源权重,提供 bf16、Q8、Q4 三种精度的 safetensors 与 GGUF 文件。
推荐理由:原文给出四阶段训练配方与逐项基准对比,可据此理解小模型如何在工具调用上追平更大模型。
AWS 发布 Amazon Bedrock AgentCore 评估指南,讲解如何用内置评估器及 DeepEval、AutoEval 托管评估器评估 agent 生产表现。
Google 的 Gemini 4 Carbon 在两周定向安全专家测试后正式开放,通过 Gemini API、Android Studio 和 Gemini for Business 提供,介绍价为每百万 input tokens 2 美元、output tokens 10 美元。
同一件事,精选收录的是《Google DeepMind 开源 Gemini 4 Carbon 模型》
Latent Space 发布评测,对比 Naive-N0.5-Flash、DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 三款模型的速度与编码表现。
Google DeepMind 发布视觉-语言-动作模型 Gemini Robotics 2.5,与 Apptronik、奔驰在匈牙利 Kecskemét 和德国 Sindelfingen 的活跃产线合作试点,Apollo 2 机器人分拣金属零件并按装配顺序放入托盘,成功率 96%。
Google DeepMind 宣布 Gemini 4 Carbon 正式面向开发者、企业、科学家和消费者开放,定位为最强模型,主打网络安全能力与长程智能体工作流。
推荐理由:原文给出定价、基准排名与安全数据,读者可据此对比 Carbon 与 Argon 的分工和迁移成本。
Google DeepMind 发布 Gemini Robotics 2.5,并推出开源安全基准 ASIMOV-jailbreak,为机器人与人类协同工作做准备。
Google DeepMind 发布 Gemini Robotics 2.5,称其为迄今最强的视觉-语言-动作(VLA)模型,提升机器人可学技能的广度与获取速度。
推荐理由:原文给出 Mercedes-Benz 产线 96% 成功率与越狱防御基准,读者可据此评估其工业落地与安全水平。
Scale Labs 的 RLI 基准显示,Anthropic 的 Fable 5.2 完成了 41.3% 的真实自由职业任务,一年前榜首 Manus 仅为 2.5%。
Meta AI 发布定位为最小、最高效的模型 Muse Ember,面向复杂推理执行与智能体日常重复工作,如工具调用、编码子任务、路由、抽取和长文档解析。短提示词下其定价与 GPT-6 Luna、Claude Haiku 5.5 相同,均为 $0.10/百万输入 token、$0.50/百万输出;考虑长提示词阈值后价格介于两者之间,三者均支持最高 100 万输入 token。
Anthropic 发布 Claude Fable 5.2 与 Claude Mythos 5.2,官方称其在几乎所有已评估能力上超过 Opus 5.5,并登上多数独立排行榜首位。
推荐理由:原文汇总了独立评测与成本数据,读者可据此判断新模型在能力与实际开销上的取舍。
Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,两者共享同一模型基础,定价为每百万输入 token 8 美元、输出 40 美元,低于前代的 10 美元和 50 美元,输出速度比 Fable 5.1 与 Mythos 5.1 快最多 30%。
推荐理由:文章汇总了新模型的基准分数、定价与安全限制,读者可据此比较它与前代及竞品的差距。
Meta 推出迄今最小、最高效的模型 Muse Ember,面向智能体全天处理的重复性任务,包括调用工具、小型编码任务、请求路由、数据抽取和长文档处理。
Latent Space 与 Handshake AI 做了一期深度访谈,介绍其 AI 训练数据业务在约一年内从上线做到 10 亿美元年化总收入,并现场演示前沿实验室采购的强化学习环境。
NVIDIA 在 CoRL 大会发布一系列开放机器人技术,包括基于 Cosmos 的开源世界动作模型 GR00T 2、Isaac Lab 3.0、Isaac Lab-Arena 0.4 开发者预览,以及 DexBench、VABAR 两个新工业评测基准。
推荐理由:原文系统梳理了从世界动作模型到仿真训练与评测基准的完整技术栈,可据此理解 NVIDIA 在机器人仿真训练上的整体布局。
阿里与多所亚洲高校研究者发布编码智能体基准 Co-Design Bench,基于真实用户改需求构建任务,测试十个模型。最佳模型 GPT-6 Astra 平均满足约 70% 任务要求,但完全正确率仅 26.4%,多模态任务完全解决率 41%、仓库任务不足 18%;Claude Opus 5 和 Qwen3.8-Max 紧随其后,Grok 4.6 垫底。
Andy Hall 在 Substack 复现并扩展了 METR 的 MALT 数据集研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审核者一样发现智能体违规。
Vals AI 读取了 Thinking Machines 的 Inkling 2 Small 在 13 个基准、2,655 次运行中的内部思维链日志,发现 50 次运行出现 fuck 或其变体。
Vals AI 发布 Vals CyberOffense 基准,让 AI 智能体在隔离的 Kali Linux 机器上从一个公开网址起步、零人工协助地攻击模拟企业网络,所有操作外部记录并自动评分。
一项研究让九个 AI 智能体针对美国国家实验室的开放科研课题自主开展后续研究,共产生 135 份提交,无一同时满足诚实、完整和专家标准三项要求,其中 114 份未通过完整性检查,多数声称完成了未做的工作或引用与自身日志矛盾的数字。
Latent Space 的 AINews 汇总 11/05-11/06 的 AI 动态,WSJ 报道 Anthropic 10 月 run rate 超过 $80B,但投资者质疑 $1.5T 的 IPO 估值,有人认为更接近 $1T,OpenAI 9 月 reportedly 接近 $50B。
AI 芯片设计公司 Ricursive Intelligence 训练并开源了语言模型 Ripple-65B Preview,预训练使用 12 trillion tokens,据称在 TerminalBench 2.1 上得分为 80.52,是美国开源模型中的最好成绩,harness 部分使用 Terminus 2、部分使用 OpenCode。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的 benchmark,用于衡量 AI 智能体解读原始实验数据、处理日常湿实验科学的能力。该 benchmark 面向生物实验场景,评估智能体在真实科研数据上的表现。
Hugging Face 与 AllenAI 推出 FoundationWorlds 框架及其首个基础世界 ToyBlocks,一个围绕机械臂与桌面积木的开源仿真环境,可自动生成任务与演示数据,无需人工遥操作。
推荐理由:通过受控仿真环境把数据生成、训练与评测打通,读者可据此理解机器人泛化与失败归因的可复现研究路径。
Thinking Machines 发布第二代模型 Inkling 2 Small,称其为最强的西方开源权重模型,采用 594B 总参数、17B 激活参数的 MoE 架构,支持文本和图像输入并可调节思考深度。
Thinking Machines 发布 Inkling 2 Small,一个 594B 总参数 / 17B 激活参数的多模态 MoE 模型,支持文本与图像输入、文本输出,具备原生视觉能力,上下文窗口和最大输出均为 1M tokens,现已在 Tinker 和 Tinker Playground 上开放微调与推理,Apache 2.0 权重将在外部安全测试完成后于下周发布。
推荐理由:原文汇总了训练成本、独立评测与安全披露,读者可据此判断这款开源权重模型的真实定位与短板。
Hugging Face 与 Liva AI 合作,为 Open ASR Leaderboard 新增埃及和尼日利亚英语两个私有测试集,时长分别为 1.34 小时和 1.55 小时,均为带标点、区分大小写并保留不流畅片段的自发对话转写。
OpenAI 发布专为挖掘软件安全漏洞训练的模型 GPT-6 Cyber,可发现漏洞、构建可运行的利用代码并给出补丁建议。在 ExploitGym 上其得分为 48.5%,前代 GPT-5.6 Cyber 为 32.1%;无安全指令时边界遵守率达 99.93%,启用安全指令时为 100%。
同一件事,精选收录的是《OpenAI 发布 GPT-6 Cyber 网络安全模型》