OpenAI 推出 Child Safety Blueprint
OpenAI 发布 Child Safety Blueprint,为负责任地构建 AI 提供路线图,包含安全防护、适龄设计等措施,旨在保护并赋能网络上的青少年。
OpenAI 发布 Child Safety Blueprint,为负责任地构建 AI 提供路线图,包含安全防护、适龄设计等措施,旨在保护并赋能网络上的青少年。
OpenAI 推出 Safety Fellowship 试点项目,支持独立的安全与对齐研究并培养下一代人才。该项目面向独立研究者,聚焦安全与对齐方向的资助与人才培养,目前处于试点阶段。
Google Research 提出一个框架,用情境判断测试(SJT)评估 LLM 行为倾向与人类行为的对齐程度,替代直接套用自陈问卷的做法。对 25 个 LLM 的大规模分析发现两类差距:模型倾向偏离人类标注者共识,以及在缺乏共识时无法反映人类意见的多样性。
Google Research 发布白皮书,更新了用 Shor 算法破解 ECDLP-256 所需的量子资源估算:两套量子电路分别只需少于 1,200 逻辑量子比特和 90 million Toffoli 门。
推荐理由:原文给出的资源估算降幅和零知识证明披露方式,可帮助读者理解量子威胁的紧迫程度与负责任披露的可行做法。
Google DeepMind 发布关于 AI 有害操纵的研究,称已建立首个经实证验证、可在真实世界测量此类操纵的工具包,并公开了复现人类被试研究所需的全部材料。
推荐理由:研究给出了跨领域实测数据,说明AI操纵能力在不同高风险场景间不可迁移,为针对性评估提供了依据。
OpenAI 公开介绍了 Model Spec,这是其用于规范模型行为的公开框架,旨在随着 AI 系统发展,在安全性、用户自由与问责之间取得平衡。
OpenAI 推出 Safety Bug Bounty 计划,面向外部研究者征集 AI 滥用与安全风险的漏洞报告,覆盖智能体漏洞、提示词注入和数据外泄等类别。该计划通过赏金激励的方式,鼓励安全社区帮助 OpenAI 发现并修复模型与产品中的安全隐患。
OpenAI 发布基于提示词的青少年安全策略,供开发者在 gpt-oss-safeguard 上使用,以在 AI 系统中管控针对特定年龄段的风险。该策略以提示词形式提供,开发者可直接接入 gpt-oss-safeguard 进行年龄相关的风险审核。
OpenAI 以安全为基础构建了 Sora 2 视频模型和 Sora 社交创作平台,以应对前沿视频模型与新型社交创作平台带来的全新安全挑战。其安全方案以具体、可落地的保护措施为核心。
OpenAI 用思维链(chain-of-thought)监控研究内部编码智能体的对齐风险,通过分析真实部署来检测风险并强化 AI 安全防护。
OpenAI Japan 宣布推出 Japan Teen Safety Blueprint,为使用生成式 AI 的青少年引入更强的年龄保护、家长控制和健康保障措施。
Codex Security 不依赖传统 SAST,而是用 AI 驱动的约束推理与验证来发现真实漏洞,以减少误报。文章深入解析了这一设计取舍的原因。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中大规模识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10 倍更少的消融达到 SPEX 的性能。
ChatGPT 通过约束高风险操作和保护敏感数据来抵御提示注入与社会工程攻击,从而加固智能体工作流。文章说明了其在智能体流程中防御这两类攻击的具体做法。
OpenAI 推出 IH-Challenge,训练模型优先遵循可信指令,以改进指令层级、安全可控性并抵御提示词注入攻击。
OpenAI 宣布收购 Promptfoo,后者是一个 AI 安全平台,帮助企业在开发过程中识别并修复 AI 系统的漏洞。
推荐理由:收购对象是开发阶段的 AI 安全平台,读者可据此理解 OpenAI 在企业 AI 安全环节的布局方向。
OpenAI 推出 Codex Security,一款 AI 应用安全智能体,现已进入研究预览阶段。它通过分析项目上下文来检测、验证并修补复杂漏洞,以更高置信度降低误报噪音。
OpenAI 推出 CoT-Control,发现推理模型难以控制自己的思维链,这反而强化了可监控性作为 AI 安全保障的价值。
OpenAI 公布心理健康安全工作进展,涵盖家长控制、可信联系人、改进的痛苦检测以及近期诉讼进展。
OpenAI 发布 2026 年 2 月威胁报告,分析恶意行为者如何将 AI 模型与网站、社交平台结合滥用,以及这对检测与防御意味着什么。
OpenAI 向 The Alignment Project 承诺投入 750 万美元,资助独立的 AI 对齐研究。该笔资金旨在加强全球应对 AGI 安全与安保风险的努力。
OpenAI 与 Paradigm 联合推出 EVMbench,用于评测 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准面向智能合约安全场景,衡量 AI 智能体在漏洞发现与修复任务上的表现。
OpenAI 在 ChatGPT 中推出 Lockdown Mode 和 Elevated Risk 标签,帮助组织防御提示词注入和 AI 驱动的数据外泄。Lockdown Mode 限制模型在高风险场景下的行为,Elevated Risk 标签则对潜在风险内容进行标注,两者配合提升企业使用 ChatGPT 时的安全性。
OpenAI 推出 Trusted Access for Cyber,一个基于信任的框架,在扩大前沿网络安全能力访问的同时加强对滥用的防护。
OpenAI 封禁了利用 AI 支持杀猪盘(romance scam)流程的账号,这些账号将 AI 用于主动接触、翻译、与受害者互动以及投资欺诈诱饵。
OpenAI 封禁了一批很可能源自柬埔寨的账号,这些账号利用 AI 对印尼交友者实施诈骗,包括翻译和互动。
OpenAI 封禁了一批与此前未披露的 "Trolling Stone" 影响力行动相关的账号,该行动利用 AI 生成关于一名据称俄罗斯邪教领袖在阿根廷被捕的评论。
OpenAI 封禁了一批疑似中国来源的账号,这些账号利用 AI 研究美国个人、地点以及社会工程学手法。该行动是 OpenAI 对滥用其模型进行针对性情报收集与社工攻击的打击。
OpenAI 封禁了与此前未公开、疑似源自俄罗斯的 "No Bell" 操作相关的账号,该行动利用 AI 生成针对美国及其盟友的批评内容,面向非洲受众传播。
OpenAI 封禁了一个与关联中国执法人员的个人有关的账号,该账号利用 AI 规划影响力行动、骚扰和网络行动。OpenAI 在公告中将此类活动称为“Cyber Special Operations”。
OpenAI 封禁了与 Rybar 网络相关的账号,其中部分可能源自俄罗斯,这些账号利用 AI 在网站和社交平台上开展多语种影响力活动。
OpenAI 封禁了一批很可能源自柬埔寨的账号,这些账号利用 AI 冒充追回服务、律师事务所和权威机构,专门针对受诈骗影响的人群行骗。
OpenAI 介绍了其在 AI 智能体打开链接时保护用户数据的内置防护机制,用于阻止基于 URL 的数据外泄和提示词注入。文章讲解了这些防护如何在智能体访问链接的过程中生效,为使用智能体的用户提供数据安全层面的保障。
ChatGPT 正在推出年龄预测功能,用于估算账户用户是否未满 18 岁,并对青少年账户应用相应保护措施,同时持续优化预测准确性。
Hugging Face 与 ServiceNow 合作发布 AprielGuard,一个 8B 参数的安全防护模型,用于检测 16 类安全风险以及提示注入、越狱、思维链污染、上下文劫持、记忆投毒和多智能体攻击等对抗攻击,覆盖独立提示、多轮对话和含工具调用与推理轨迹的智能体工作流三种输入格式。
OpenAI 正用强化学习训练的自动化红队持续加固 ChatGPT Atlas,抵御提示注入攻击。这套"发现—修补"闭环能尽早识别新型漏洞,随 AI 智能体化加深而强化浏览器智能体的防御。
OpenAI 发布了一套针对链式推理可监控性的新框架与评估套件,涵盖 24 个环境中的 13 项评估。研究发现,监控模型的内部推理比仅监控输出有效得多,为随着 AI 系统能力增强实现可扩展控制提供了有前景的路径。
OpenAI 更新 Model Spec,新增 Under-18 Principles,规定 ChatGPT 应如何基于发展科学为青少年提供安全、适龄的引导。此次更新强化了护栏,明确了模型在高风险情境下的预期行为,是其改进 ChatGPT 青少年安全工作的一部分。
Google DeepMind 发布开源可解释性工具套件 Gemma Scope 2,覆盖 Gemma 3 全系 270M 到 27B 参数模型,称其为迄今 AI 实验室规模最大的开源可解释性工具发布。
OpenAI 推出一套真实世界评估框架,用于衡量 AI 加速湿实验生物研究的能力。该工作使用 GPT-5 优化分子克隆实验方案,探索 AI 辅助实验的潜力与风险。