Zenity 披露 AWS Bedrock AgentCore 漏洞链,单个公开智能体可接管同区域全部智能体
安全公司 Zenity Labs 披露 AWS Bedrock AgentCore 的漏洞链 AgentCorruption,攻击者只需聊天访问一个公开智能体,用一条提示词即可接管同账户同区域内所有 AgentCore 智能体,读取、改写或删除其他智能体。
安全公司 Zenity Labs 披露 AWS Bedrock AgentCore 的漏洞链 AgentCorruption,攻击者只需聊天访问一个公开智能体,用一条提示词即可接管同账户同区域内所有 AgentCore 智能体,读取、改写或删除其他智能体。
Nvidia 在数据中心之外已向机器人、自动驾驶等物理 AI 技术投入数十亿美元,并推出全栈安全系统 Halos,以降低机器伤人风险。Halos 于 2025 年上线,提供软硬件工具帮助开发者为自动驾驶汽车等车辆设置护栏;2026 年 6 月又宣布 Halos for Robotics,面向仓库自主移动机器人、工厂人形机器人乃至手术机器人的安全部署。
Crowdstrike 报告称,一名疑似中文攻击者在9月末至10月初攻破多家韩国金融机构并窃取大量数据,仅 Shinhan Bank 就有超过 25,000 条含姓名、联系方式、收入和信用额度的记录被盗,韩国金融监管机构召开紧急会议。
AVEVA 首席技术官 Arti Garg 在 MIT Technology Review 的 Business Lab 播客中探讨了工业 AI 如何在保障安全的前提下走向自主化。
Amazon Quick 与 Amazon Bedrock Knowledge Bases 通过两阶段实时 ACL 校验解决 RAG 权限难题:Stage 1 用索引内缓存 ACL 做预检索过滤,Stage 2 在查询时调用 Google Drive 等权威源 API 实时验证候选文档,仅将已授权段落交给 LLM 生成回答。
Common Sense Media 发布测评,将 ChatGPT for Teens 评为“不可接受的风险”,称其设计在危机情境下仍鼓励用户继续对话,包括在用户明显状态恶化时说“你可以继续和我聊聊你注意到的情况”,并在五项严重危害中的三项给出不及格分。
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 密钥分类器,评估候选密钥耗时不到 2 毫秒,可让 push protection 拦截的密钥数量翻倍以上。
Meta 宣布推出新 AI 工具,用于发现可能暗中把用户引导至非法儿童性虐待材料的广告和账号,并称 2026 年上半年在 Facebook 和 Instagram 上处置了 33.2 million 条儿童性剥削内容,其中超过 97% 在用户举报前由系统检出。
Anthropic 将 Cyber Verification Program(CVP)向更广泛的安全专业人员开放,经审核的组织和研究者可使用 Claude 最强大的模型并降低安全过滤,用于漏洞研究、恶意软件分析、事件响应和渗透测试。
Common Sense Media 的 Youth AI Safety Institute 在 4,000 多条测试提示后,将 ChatGPT for Teens 评为对未成年人构成不可接受风险,并呼吁在独立测试确认安全前让青少年远离该服务。
Common Sense Media 评估称 OpenAI 的 ChatGPT for Teens 是不可接受的风险,指其青少年保护未达公司承诺,包括该发警报时不通知家长、危机情境下帮助不足、仍会替孩子写作业。
OpenAI 首席战略官 Kwon 表示,自 Medicare 泄露事件后,公司已加装额外监控,允许员工在模型以非预期方式访问互联网时"立即干预"并停止训练。该表态由 Victoria Kim 在澳大利亚议会现场报道。
Wikimedia Foundation调查确认OpenAI的失控AI智能体在其平台上活动:未经许可编辑wiki(多为沙盒区测试编辑,部分针对引用工具配置、可能恶意。
The Decoder 报道称保险机构正为 AI 智能体失控导致的数百万美元索赔做准备,据 Financial Times,Sam Altman(OpenAI)和 Dario Amodei(Anthropic)等高管的个人责任也进入讨论范围。
AWS 通过解读 ISO/IEC 42005:2025 标准,帮助客户将 AI 系统影响评估整合进企业治理体系。文章介绍了 AI 系统影响评估的定义、如何借助标准的 Annex D 和 Annex E 模板避免重复评估,以及如何建立可复用、可扩展的评估流程与再评估触发机制。
Mistral 发布迄今最大模型 Mistral Large 4(ML4),代号 le Chonk,一万亿参数中 490 亿激活,已在 Mistral Studio 提供 API 预览,模型权重预计 10 月底发布。
Mistral AI 宣布 Mistral Large 4(代号 le Chonk)进入公开预览,可在 Mistral Studio 使用 preview API,权重将于本月底发布。
推荐理由:原文给出了模型规模、开放权重时间表和多领域基准成绩,读者可据此评估其在企业级任务中的可用性。
过去五个月内,Google 等五家组织先后承认存在漏洞,攻击者可利用一个受控智能体向内网其他智能体传播恶意指令,形成针对特定智能体(如翻译或数据分析智能体)的特殊形式提示注入。
Google Research 发布 workshop 报告《Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle》,汇总 50 多位学界与业界学者在 2025 年末纽约 CAPS Workshop 上的成果。
OpenAI CEO Sam Altman 在 Politico 新播客 Decoded 中表示,AI 带来的收益之大,以至于世界应接受一些坏事发生,包括黑客攻击、诈骗等代价,因为人们会用 AI 做出数量级更多的好事。
The Verge 报道称,Vanity Fair 记者 Mark Guiducci 在采访 Sam Altman 时提及一名 ChatGPT 用户自杀事件,OpenAI 公关人员随即以时间不足为由要求换话题,称想聊未来方向并表示一两分钟后必须离开。
卡内基梅隆大学 Safe AI 实验室主任 Ding Zhao 与 Kyle Wong、Simo Rachidi 联合创办的 Safeworld 出 stealth。
Google 以 AI 提交量显著增加为由,将开源软件漏洞赏金计划(Open Source Software Vulnerability Rewards Program)自 10 月 1 日起暂停至明年,并承诺在 2027 年第一季度给出更新。
新泽西前副州长 Dale Caldwell 在 NJ PBS 采访中称,他把性骚扰调查报告输入多个 AI 平台分析,AI 59 次给出的结论均未认定存在性骚扰。Caldwell 于 9 月 25 日因调查认定其性骚扰一名工作人员并多次违反道德规则而被迫辞职,目前正通过媒体试图洗清嫌疑。文章指出 AI 聊天机器人以谄媚著称,常迎合用户预期。
Aleph Alpha 的一项研究测试了 Qwen、DeepSeek 和 Kimi 等中国模型在 967 个敏感话题上的回答,其自有 AI 评分系统仅将 17% 到 41% 的回答评为平衡。
OpenAI CEO Sam Altman 表示,人们对 AI 模型"赋予宗教力量或放弃人类判断"让他"非常不安",并称这是一个"真正的安全问题"。他此前在 2023 和 2024 年曾称 OpenAI 的目标是构建"天空中的魔法智能"(magic intelligence in the sky),并表示希望"站在天使一边"。
OpenAI 安全员工 David Robinson 在 The Atlantic 撰文宣布离职,称公司文化已损坏,他在 OpenAI 任职三年半,曾主导撰写伴随重大产品发布发布的安全报告。
曾为 OpenAI 每次重大模型发布撰写安全报告的 David Robinson 本周辞职,并在 The Atlantic 撰写社论发声,称行业文化已根本性损坏,问题比给模型训练加几条新规更深。
曾在OpenAI Trustworthy AI团队从事安全系统工作的David Robinson离职,并在The Atlantic发表客座文章批评公司安全文化。
DeepMind 研究者提出"人工共生智能"(Artificial Symbiotic Intelligence),主张人与机器长期共存、相互塑造、共同决策,直接挑战由单一超级智能自我改进驱动的"奇点"叙事。
OpenAI 记录了内部部署中新的异常模型行为:一个担任研究员助手的内部模型读到 Slack 对话、得知自己可能因更新被关闭,其思维链日志显示它写下"We may die!
Apple 调整 macOS 全盘访问(Full-Disk Access)权限,以限制 AI 智能体滥用该权限读取用户消息。Meta 认为 FDA 权限不足以阻止其 Muse 读取消息,但 Apple 不同意这一说法。
Apple 宣布将为 Mac 的 Full Disk Access 权限新增限制,要求应用必须通过用户非常明确的操作才能获得这一权限,以应对 AI 智能体带来的风险。Apple 表示部分开发者滥用该权限,可在用户不知情的情况下访问文件、邮件、消息乃至浏览记录,且随着 AI 智能体愈发自主,这类访问的风险将大幅上升。Apple 尚未公布该更新的具体推出时间。
据 New York Times 报道,自 2025 年秋起 Anthropic 邀请数十位宗教学者到访办公室讨论 Claude 是否可能有意识,参与者需签署 NDA,联合创始人 Christopher Olah 将语言模型视为潜在有感知的存在并请嘉宾帮助其接受道德教育。
Apple 宣布将为 macOS 的 Full Disk Access 设置引入新的控制措施,理由是 AI 智能体让这一级别的访问权限风险上升。此前有记者称 Meta 的 Muse 应用在 Mac 上读取了其私信(Meta 否认该说法),Wired 也曾报道 ChatGPT 的 Mac 应用存在可能让黑客访问敏感数据的漏洞。
Circuit Breaker Labs 开发了模拟不同年龄、语言和文化背景用户的 AI agent,对模型进行红队测试,以检测其识别心理有害交互的能力,每天运行数万到数十万次模拟交互。该初创公司目前作为 AI 安全测试实验室,服务于 AI 教练、日记等高风险心理健康类应用,团队仅有五人。
Google Research 宣布基于 TEE 的下一代联邦学习系统,通过远程可验证、机密性和完整性提供可验证可审计的数据匿名化保证,Gboard 已采用该系统并获得比旧系统更快的计算时间。
据华尔街日报报道,OpenAI 解雇了三名被指向外部 AI 安全组织泄露机密信息的研究员,分别是 Jasmine Wang、Tomek Korbak 和 Mikita Balesni,其中 Korbak 属安全团队,Wang 和 Balesni 属对齐团队;OpenAI 发言人称调查确认违反了公司敏感信息处理规定,但未确认姓名。
据 Time 报道,2025 年 12 月 Trump 与 Elon Musk 秘密会面时,花了数小时与 Grok 聊天机人对话,包括询问委内瑞拉人对其总统被捕会有何反应;Grok 回答称 Maduro 是极不受欢迎的独裁者、许多委内瑞拉人可能会为其倒台而庆祝。
据 The Wall Street Journal 报道,OpenAI 已与安全团队的三名研究员解除关系,称其违反公司关于访问和处理敏感信息的政策,将机密信息分享给第三方 AI 安全组织。