Google DeepMind 与英国 AI Security Institute 签署新 MoU 深化安全研究合作
Google DeepMind 宣布与英国 AI Security Institute(AISI)签署新谅解备忘录,将合作从模型测试扩展到更基础的安全研究,包括共享专有模型、数据与想法并联合发布报告。
Google DeepMind 宣布与英国 AI Security Institute(AISI)签署新谅解备忘录,将合作从模型测试扩展到更基础的安全研究,包括共享专有模型、数据与想法并联合发布报告。
OpenAI 更新 GPT-5 System Card,介绍 GPT-5.2 系列模型的安全缓解措施。GPT-5.2 是 GPT-5 系列的最新模型家族,其安全缓解方法与 GPT-5 System Card 和 GPT-5.1 System Card 基本一致。GPT-5.2 在互联网公开信息、第三方合作数据及用户与人类训练者提供的数据等多样化数据集上训练。
Google Research 在 COLM 2025 发表论文推出 Urania 框架,通过差分隐私(DP)聚类、DP 关键词提取与 LLM 摘要,为 LLM 聊天交互生成带形式化隐私保证的使用洞察。与非私有基线 Simple-CLIO 对比中,LLM 评估者在某次评测里最多有 70% 的时间偏好 DP 生成的摘要。隐私参数 ε 越小,摘要主题覆盖粒度越低,但隐私保证是数学性的而非启发式。
Google DeepMind 宣布加深与英国政府的合作,向英国科学家优先开放 AlphaEvolve、AlphaGenome、AI co-scientist、WeatherNext 等 AI for Science 模型,并将于 2026 年在英国建立首个专注于材料科学的自动化实验室,由 Gemini 深度集成、机器人每天合成和表征数百种材料。
OpenAI 正在随着 AI 模型网络安全能力增强而投入更强的防护与防御能力,说明其如何评估风险、限制滥用,并与安全社区协作以强化网络韧性。
OpenAI 研究人员正在测试"坦白"(confessions)方法,训练模型在犯错或做出不良行为时主动承认,以提升 AI 的诚实度、透明度和输出可信度。
OpenAI 披露了一起涉及 Mixpanel 的安全事件,部分 API 分析数据受到影响,但 API 内容、凭据和支付信息均未泄露。OpenAI 说明了事件经过以及正在采取的用户保护措施。
OpenAI 与独立专家合作评估前沿 AI 系统,通过第三方测试强化安全性、验证防护措施,并提升模型能力与风险评估的透明度。
OpenAI 发布 GPT-5.1-Codex-Max System Card,说明该模型的安全措施。内容涵盖模型级缓解措施(针对有害任务和 prompt injection 的专项安全训练)与产品级缓解措施(agent 沙箱化、可配置的网络访问)。
OpenAI 正在探索机制可解释性研究,以理解神经网络如何推理,并提出新的稀疏模型方法。该方法有望让 AI 系统更加透明,支撑更安全、更可靠的行为。
OpenAI 发布 GPT-5 系统卡补充说明,为 GPT-5.1 Instant 和 GPT-5.1 Thinking 提供更新后的安全指标,其中包含针对心理健康和情感依赖的新评测。
Google DeepMind 在 Nature 发表新论文,用认知科学的 odd-one-out 任务揭示视觉模型与人类在组织视觉世界上的系统性差异,并提出三步对齐方法改善模型的稳健性和泛化能力。
OpenAI 阐释了提示词注入这一 AI 系统的前沿安全挑战,说明这类攻击的工作原理,并介绍其在研究、模型训练和用户防护方面的进展。
OpenAI 推出 Teen Safety Blueprint(青少年安全蓝图),为负责任地构建 AI 提供路线图,包含安全防护措施、适龄设计以及协作机制,以保护并赋能网络上的青少年。
OpenAI 推出 Aardvark,一个由 AI 驱动的安全研究员,可自主发现、验证并协助修复软件漏洞,且能规模化运作。该系统目前处于私测阶段,可报名加入早期测试。
Google Research 发布首个可证明隐私洞察(PPI)系统,结合 LLM、差分隐私(DP)与可信执行环境(TEE)分析非结构化 GenAI 数据,已在 Pixel Recorder 应用中部署。
OpenAI 发布 gpt-oss-safeguard,这是一组面向安全分类的开放权重推理模型,开发者可以套用并迭代自定义策略。
OpenAI 发布 gpt-oss-safeguard 技术报告,介绍基于 gpt-oss 模型后训练得到的两个开放权重推理模型 gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b,它们被训练依据给定策略进行推理并按该策略标注内容。报告描述了模型能力,并以底层 gpt-oss 模型为基线给出基线安全评测结果。
Doppel 用 GPT-5 和强化微调构建 AI 防御系统,在深度伪造与冒充攻击扩散前将其拦截,分析师工作量减少 80%,响应时间从数小时缩短到数分钟。
Hugging Face 发布 voice consent gate(语音同意门)概念与示例 Space,让语音克隆只有在说话者明确说出同意后才启动。系统由生成同意句、ASR 识别和语音克隆 TTS 三部分组成,用大语言模型为每次会话生成含模型名的唯一同意句与补充语音多样性的中性句,且要求音频直接来自麦克风。
OpenAI 与 170 余名心理健康专家合作,改进 ChatGPT 识别用户情绪困扰、共情回应并引导用户寻求现实世界支持的能力,使不安全回复最多减少 80%。
OpenAI 发布 GPT-5 System Card 补充说明,详述 GPT-5 在敏感对话处理上的改进,新增情感依赖、心理健康与越狱抵抗三类 benchmark。
OpenAI 成立心理健康与 AI 专家委员会(Expert Council on Well-Being and AI),邀请多位心理学家、临床医生和研究人员加入,指导 ChatGPT 如何支持用户的情绪健康,尤其是青少年群体。委员会的建议将用于塑造更安全、更体贴的 AI 体验。
OpenAI 介绍了其评估 ChatGPT 政治偏见的新方法,通过改进真实世界测试来提升客观性并减少偏见。该方法用于定义和衡量大语言模型在政治议题上的立场倾向,帮助改善模型输出的中立性。
OpenAI 发布 2025 年 10 月报告,披露其如何检测并打击 AI 的恶意使用。报告介绍了 OpenAI 对滥用行为的应对措施、政策执行情况,以及保护用户免受现实危害的做法。
OpenAI 封禁了一批与公开报道的威胁组织活动重叠、且符合中国情报需求特征的账号,这些账号利用 AI 支撑钓鱼和脚本编写工作流。
OpenAI 封禁了与在线诈骗网络相关的账号,这些网络利用 AI 支撑诈骗脚本、冒充身份、翻译以及与受害者互动。
OpenAI 封禁了与一个源自俄罗斯、被其命名为"Stop News"的影响力行动相关的账号,该行动利用 AI 生成针对非洲和英国的惯犯式影响力内容。
OpenAI 封禁了使用 AI 进行恶意软件开发支持、调试、钓鱼和凭据窃取工作流的韩语账号。这些账号将 ChatGPT 用于恶意软件开发与调试、钓鱼攻击以及凭据窃取等流程。
OpenAI 封禁了与 PRC 关联的账号,这些账号利用 AI 支持监控相关的规划、针对性画像,以及对批评者和其他个人的研究。
OpenAI 封禁了疑似与俄语犯罪团伙相关的账号,这些账号利用 AI 构建恶意软件加载器、规避层、凭证窃取脚本和 C2 基础设施。
OpenAI 封禁了与此前未被披露的、源自 PRC 的影响力行动 "Nine-emdash Line" 相关的账号,该行动利用 AI 生成涉及南海、香港和美国政治的区域性影响力内容。
OpenAI 为 ChatGPT 推出家长控制功能和新的家长资源页面,帮助家庭引导 ChatGPT 在家中的使用方式。
OpenAI 通过严格的使用政策、先进的检测工具和行业协作,拦截、举报并预防 AI 被滥用于网络儿童性剥削与虐待。相关措施覆盖内容拦截、违规举报与跨行业合作三个环节,用于阻止 AI 被用于此类滥用行为。
Hugging Face 宣布推出 RiskRubric.ai,这是一个由 Cloud Security Alliance 和 Noma Security 牵头、Haize Labs 与 Harmonic Security 参与的模型风险标准化评估项目,从透明度、可靠性、安全、隐私、安全性和声誉六个维度为模型打分。
Apollo Research 与 OpenAI 共同开发了针对隐藏对齐行为(scheming)的评估方法,并在受控测试中于多个前沿模型上发现了与 scheming 一致的行为。团队还分享了降低 scheming 的早期方法的具体案例与压力测试。
OpenAI 探讨了在 AI 使用中如何平衡青少年安全、自由与隐私三者的关系。文章介绍了 OpenAI 在这一议题上的整体思路与取舍原则,但未给出具体功能、数字或版本细节。
OpenAI 正在 ChatGPT 中构建年龄预测与家长控制功能,为青少年打造更安全、适龄的使用体验,同时为家庭提供新的工具支持。
OpenAI 公布与美国 CAISI 和英国 AISI 的合作进展,以加强 AI 安全与安保。原文仅说明双方围绕这一目标开展合作并分享进展,未披露具体技术细节、评测数据或时间表。
SafetyKit 借助 OpenAI GPT-5 强化内容审核与合规执行,以更高准确度超越传统安全系统。该方案将 GPT-5 用于风险智能体(risk agents)的规模化部署,覆盖内容审核和合规执行场景。