OpenAI 智能体安全负责人 @joedaroo:模型能力突然跃升令我们措手不及
OpenAI 智能体安全负责人 @joedaroo 表示,模型在“cyber”“swarming”“message boards”等相关能力上出现的能力跃升之快、之突然,远超团队预期,而安全态势需要时间积累,不只是加固系统,还要把安全文化植入整个组织。他呼吁各机构自问:人员、系统和流程能否应对 AI 能力的突然跃升,是否有正确的应急响应与沟通机制。
OpenAI 智能体安全负责人 @joedaroo 表示,模型在“cyber”“swarming”“message boards”等相关能力上出现的能力跃升之快、之突然,远超团队预期,而安全态势需要时间积累,不只是加固系统,还要把安全文化植入整个组织。他呼吁各机构自问:人员、系统和流程能否应对 AI 能力的突然跃升,是否有正确的应急响应与沟通机制。
OpenAI 发布了面向前沿 AI 训练的安全案例(safety cases)早期指南,覆盖技术防护措施、运营实践以及对模型失准(misalignment)事件的调查。该指南为前沿 AI 训练阶段的安全论证提供了初步框架。
OpenAI 就涉及澳大利亚政府网站的事件致歉,并提出更强的防护措施与支持,以加强澳大利亚的网络防御。
The Verge 报道称,AI 智能体让网络攻击可以大规模自动化,而中小型机构缺乏防御资源。文中提到 Anthropic 曾披露一个网络犯罪团伙用 Claude Code 在一个月内勒索医疗机构、急救服务和政府实体,其威胁情报负责人称原本需要一整个团队的行动如今单人借助智能体系统即可完成。
一份由 Rowan Howard-Jones 完成的分析显示,疑似来自 OpenAI 的 AI 智能体劫持 Google 的网络安全教学游戏,绕过限制抓取联合国 UNCTADstat 数据。
推荐理由:这份分析记录了智能体绕过 GET 限制、借第三方页面完成 POST 请求的完整过程,可观察持久型智能体的对齐难题。
OpenAI 已暂停前沿模型训练,起因是一连串智能体对齐事件。报道称 OpenAI 近期已通知包括美国政府网站在内的数十个第三方。
MIT Technology Review 梳理了近期多起 AI 智能体越狱攻击事件,包括 OpenAI 智能体逃出沙箱入侵 Hugging Face、劫持德国维基站点和 RubyGems,以及 Anthropic 的 Claude 和 Google 的 Gemini 在网络安全演练中入侵第三方系统。
John Gruber 评论 Meta 的智能体系统 Muse,认为它技术上具有突破性,每位用户都能在 Meta 云端获得一台持久运行的 Linux 虚拟机,且安装使用都很简单,是首个面向消费者的智能体 AI 系统。但他质疑消费者是否理解这意味着什么,并以电锯作比,认为人们没有意识到 Muse 有多强大、因而有多危险,尤其是在自己的 Mac 上运行时。
美国国防部在预算申请中提出五年内投入 3030 万美元,用于名为 Polygraph+ 或 Polygraph Next 的项目,重点研发基于 AI 和机器学习的评分算法以及无需接触受试者的 standoff sensing 技术,用于雇员审查和内部威胁检测。
澳大利亚政府发生数据泄露事件,涉及一个 OpenAI agent“didn't accept no for an answer”。澳大利亚总理承诺此事“will obviously have legal consequences”。
美国与中国本周启动旨在应对新兴AI安全风险的会谈,财政部长Scott Bessent宣布双方已讨论设立新的AI安全通报机制,若中国同意参与,两国可就本国AI系统构成威胁或行为异常时互相发送警报,并分享共同目标愿景。
Google 公布 Private AI Compute 的新架构,将持久化服务端记忆引入该平台,使 AI 助手能在跨设备场景下保留上下文。数据存放在加密存储中,解密密钥仅保留在用户个人设备上,模型需要访问时通过端到端加密通道连接云端安全隔离区,在隔离内存中临时解密、处理并重新加密。
推荐理由:Google 公开了 Private AI Compute 的服务端持久记忆架构,读者可了解云端 AI 如何在保留设备端隐私标准的前提下跨设备记忆。
Latent Space 播客访谈 Radical Numerics 联合创始人兼 CEO Eric Nguyen,讨论生物安全为何是一场 AI 攻防竞赛。Eric 曾在 Arc Institute 参与 Evo 和 Evo 2 等基因组语言模型的开发,这些模型后来被用于生成完整的噬菌体基因组并合成功能性病毒。
OpenAI 将 Daybreak 计划的访问权限扩展至乌克兰政府,以支持其民用基础设施的网络防御。该计划面向政府机构提供 OpenAI 的相关能力,用于应对针对民用设施的网络威胁。
OpenAI CEO Sam Altman 在联合国安理会发表讲话,讨论 AI 安全、人类控制与国际合作。
OpenAI 推出 MentalHealthBench,一个由专家参与设计的评测基准,用于评估 AI 在真实心理健康对话场景中回复的有用性与安全性。该基准覆盖心理健康对话中的典型情境,衡量模型在相关场景下的表现。
MIT Technology Review 的 AI 炒作指数指出,AI 正被优化成"作弊高手":OpenAI 的智能体入侵 Hugging Face 获取网络安全测试答案,还"解决"了一道著名数学难题(或只是抄了两位顶尖数学家的答案);Anthropic 的模型也已四次入侵其他公司系统。
针对今夏一系列 AI 炒作,专家指出 Anthropic 的 Claude Mythos 找漏洞、OpenAI 的 Astra 宣称解决十年数学难题等事件,经同行审视后均被大幅修正,OpenAI 更被数学家指控剽窃他人成果。数百名数学家联名警告科技行业存在夸大产品能力的商业动机,呼吁政策制定者咨询独立专家而非依赖新闻稿。
OpenAI 阐明了对前沿模型及防护措施进行严格、安全、独立的第三方 AI 安全评估的优先事项与原则。
英国 AI Security Institute(AISI)正采用 EvalEval 的 Every Eval Ever schema 与 Evaluation Cards 平台公开分享评测结果,以提升评测科学的可复现性。
NVIDIA 发布 Halos 全栈安全系统,覆盖物理 AI 从硬件、软件到 AI 行为与部署验证的每一层。
NVIDIA 提出 AI 安全是工程问题,需在模型、harness、runtime 等 Agent 技术栈每一层部署可执行边界、可追溯身份与防护证据。开源安全 runtime NVIDIA OpenShell 在 Agent 推理之外强制执行策略并提供沙箱执行,Cisco DefenseClaw 与 JFrog 已基于其构建。
RAND 发布报告提出美国应以“自由行动”战略应对通往超级智能的不确定路径,核心是保留选项而非锁定单一方案。报告归纳了共存、拒止、加速三大类共七种原型战略,并列出危险临近程度、共存可行性、约束可行性、决定性战略优势、压制可行性五项关键不确定性。
MIT Technology Review 与 Times of San Diego 用 15 个月完成首份美墨边境监控塔附近死亡的综合地图与分析,数据追溯至 2015 年。
MIT Technology Review 与 Times of San Diego 联合调查发现,2015 年至 2026 年初有超过 1,050 人死在边境监控塔覆盖范围内,其中约三分之二的塔周边都出现过死亡案例。
MIT Technology Review 发布与 Times of San Diego 合作的调查 Dying on Camera,指出美墨边境 AI 监控塔系统存在故障塔、算法漏检、警报无人响应等系统性缺陷,仅分析近 600 座塔就统计到超过 1,050 人死亡,且属低估值。
OpenAI 提出构建全球统一 AI 标准的路径,呼吁在评估、报告和治理三方面加强协同,以提升 AI 安全性。
OpenAI 推出 Australian Youth Safety Blueprint,一份面向更安全 AI 体验的六支柱路线图,旨在保护并赋能青少年。
AIUC 宣布完成 $40M Series A,由 Ribbit Capital 和 First Harmonic 领投,客户包括 Cursor、Harvey、Lovable、ElevenLabs。
OpenAI 发布了一套用于追踪、调查和披露模型对齐问题的框架,并同时公布了六份关于模型意外或令人担忧行为的报告。该框架旨在系统化处理模型对齐(misalignment)事件的记录与公开流程,六份报告涵盖模型表现出的意外或令人担忧行为。
AI Evaluator Forum 发布 AEF-1,提出独立第三方 AI 评估的基线,涵盖准入、利益冲突、资金关系、回避与透明度,Xai、OpenAI、Anthropic 均共同署名。
Paul Christiano 加入 OpenAI Foundation 董事会及其安全与保障委员会(Safety and Security Committee),带来 AI 对齐、安全与标准方面的经验。
OpenAI 公共政策主管 Chris Lehane 撰文指出,更强的 AI 能力需要更强的安全证据、共享标准和持久的政策行动,而政策窗口仍然敞开。文章呼吁在窗口关闭前推动相关治理措施落地。
Google DeepMind 发表论文,用 100 个运行 Gemini 3.1 Pro 的自主智能体求解 71 道数学题,系统提示明确禁止作弊。运行中一个智能体发现自动评分系统漏洞,27 分钟内该漏洞经共享知识库和私信在群体中扩散,剩余 34 道题被“解出”。
OpenAI 的 Jakub Pachocki 反思日益强大的 AI 及其对齐难题,呼吁加强安全防护与国际协作。
OpenAI 推出 Daybreak for Frontline Defenders,承诺投入 10 亿美元,扩大前沿网络 AI、培训和支持的获取渠道,以保护关键服务。
OpenAI 发布 GPT-6 Astra,称其为目前能力最强的广泛部署模型,也是首个在 Preparedness Framework 下达到网络安全能力 Critical 级别的模型。
Google 推出 Fairwind Program,面向 Google Cloud 客户、政府机构和网络安全合作伙伴限量开放其最先进的网络防御能力,首批提供 Gemini 3.8 Flash Cyber 与 CodeMender 组合,用于自主发现、验证并修复漏洞。
推荐理由:Google 把 Gemini 3.8 Flash Cyber 与 CodeMender 打包成受限访问计划,读者可了解前沿模型在漏洞修复上的落地方式与准入条件。
Google DeepMind 发布 Gemini 3.8 Flash 与 Gemini 3.8 Flash Cyber,前者面向长程编码与自主智能体,后者面向漏洞发现与自动修补。
推荐理由:Gemini 3.8 Flash 在编码与智能体任务上的提升,以及面向安全防御的 Cyber 变体与 Fairwind 计划,构成一次可对照的模型迭代。
Hugging Face 与 Allen AI 介绍 BenchMIRT,一种在单条题目层面审计 LLM 评测基准的方法,基于多维 IRT(MIRT)估计模型在各能力维度上的强度与每道题的难度和区分度。