OpenAI 封禁疑似中国来源账号：利用 AI 起草监控工具方案
OpenAI 封禁了一批疑似中国来源的账号，这些账号利用 AI 起草监控工具销售方案、分析文件并调试代码。
#安全/对齐
OpenAI NewsAI 评分3636 OpenAI NewsAI 评分4444 OpenAI 封禁利用 AI 干预加纳大选的账号
OpenAI 封禁了一批利用 AI 生成文章、帖子和虚假互动，围绕加纳 2024 年总统选举进行隐蔽影响行动的账号。该行动被 OpenAI 认定为 Covert influence operation，涉及用 AI 批量制造选举相关虚假内容与互动。
OpenAI NewsAI 评分4444 OpenAI 封禁利用 AI 实施"杀猪盘"诈骗的账号
OpenAI 封禁了一批疑似源自柬埔寨的账号，这些账号利用 AI 翻译并生成恋爱、投资诈骗对话，用于"杀猪盘"式诈骗。OpenAI 表示这些账号借助其工具辅助实施诈骗工作流。
OpenAI NewsAI 评分3636 OpenAI o3-mini System Card
OpenAI 发布 o3-mini System Card，说明该模型的安全工作，包括安全评估、外部红队测试和 Preparedness Framework 评估。
OpenAI NewsAI 评分3434 OpenAI Operator System Card
OpenAI 发布 Operator System Card，阐述其多层安全方法，包括针对提示工程和越狱的模型与产品缓解措施，以及隐私和安全保护。文档还详述了外部红队测试、安全评估和持续完善这些防护措施的工作。
OpenAI NewsAI 评分4444 OpenAI：用推理时计算换取对抗鲁棒性
OpenAI 发布研究，提出用推理时计算（inference-time compute）换取模型的对抗鲁棒性，即让模型在推理阶段投入更多计算以抵御对抗性攻击。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系，为提升模型安全性提供了新思路。
Hugging Face BlogAI 评分5353 Hugging Face 博客：AI 智能体已经到来，该如何应对
Hugging Face 官方博客发文梳理 AI 智能体的定义、能力谱系与伦理权衡，建议不要开发完全自主的 AI 智能体，因为用户让渡的控制越多风险越大，能自行编写并执行代码的智能体将获得凌驾于人类控制之上的能力。
OpenAI News精选AI 评分6161 OpenAI 为 o1 模型引入 deliberative alignment 对齐策略
OpenAI 发布新的对齐策略 deliberative alignment，用于 o1 模型，直接向模型教授安全规范并让模型围绕这些规范进行推理。
推荐理由：原文点明该策略直接教模型安全规范并对其推理，读者可据此理解对齐思路的变化。
OpenAI NewsAI 评分4545 OpenAI o1 System Card
OpenAI 发布 o1 System Card，说明 o1 和 o1-mini 发布前的安全工作，包括外部红队测试和按 Preparedness Framework 进行的前沿风险评估。
OpenAI NewsAI 评分1818 OpenAI：以人与 AI 协同推进红队测试
OpenAI 发布文章介绍如何结合人与 AI 推进红队测试（red teaming），以提升模型安全评估能力。文章来自 OpenAI News，聚焦红队测试方法的演进方向。
Mistral AIAI 评分5555 Mistral AI 发布 Mistral Moderation API 内容审核接口
Mistral AI 发布新的内容审核 API，即驱动 Le Chat 审核服务的同一接口，向用户开放以便按自身应用和安全标准定制。该模型是 LLM 分类器，将文本输入分为 9 类，提供原始文本和对话内容两个端点，对话端点在上下文中对最后一条消息进行分类。
Hugging Face Blog精选AI 评分6161 Hugging Face 与 Google DeepMind 在 Transformers v4.46.0 中推出 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中推出 SynthID Text，可通过 logits processor 为 AI 生成文本添加水印并用分类器检测。
推荐理由：原文给出了配置参数、检测器训练流程和局限，读者可据此评估如何在自己的模型上落地水印方案。
Hugging Face BlogAI 评分5353 Hugging Face 与 Protect AI 合作，将 Guardian 扫描器集成到 Hub
Hugging Face 宣布与 Protect AI 合作，将其安全扫描工具 Guardian 集成到 Hub 的扫描套件中，所有公开模型仓库在推送文件后会被 Guardian 自动扫描。
OpenAI NewsAI 评分3030 ChatGPT 公平性评估
OpenAI 分析了 ChatGPT 如何根据用户姓名作出回应，并使用 AI 研究助手来保护用户隐私。
Hugging Face BlogAI 评分5656 Gradio 5 发布前完成 Trail of Bits 独立安全审计并修复全部问题
Hugging Face 邀请网络安全公司 Trail of Bits 对 Gradio 代码库进行独立安全审计，发现的问题已在 Gradio 5.0 发布前全部修复并经对方验证。
OpenAI NewsAI 评分4444 OpenAI 封禁俄罗斯发起的 "Stop News" 影响力行动账号
OpenAI 封禁了俄罗斯发起的 "Stop News" 影响力行动账号，这些账号利用 AI 生成多语言文章和帖子，针对乌克兰与西方。该行动被 OpenAI 认定为源自俄罗斯的影响活动。
OpenAI NewsAI 评分2525 OpenAI 封禁伪造 ChatGPT "Russian troll" 报错信息的账号
OpenAI 封禁了一个疑似源自美国的账号，该账号用 AI 伪造了一条 ChatGPT 报错信息，谎称检测到 "Russian troll" 活动。
OpenAI NewsAI 评分4141 OpenAI 封禁与 SweetSpecter 相关的账号
OpenAI 封禁了疑似属于中国关联攻击者 SweetSpecter 的账号，该攻击者利用 AI 研究漏洞、编写代码并支持鱼叉式网络钓鱼活动。
OpenAI NewsAI 评分4444 OpenAI 封禁伊朗关联 STORM-0817 账号：用 AI 调试 Android 恶意软件、抓取社交平台
OpenAI 封禁了伊朗关联的 STORM-0817 账号，该组织利用 AI 调试 Android 恶意软件、抓取社交平台并翻译工具。这些账号被用于恶意软件开发和内容抓取等攻击性活动。
OpenAI NewsAI 评分3434 OpenAI 封禁用 AI 生成评论攻击俄罗斯反腐基金会的账号
OpenAI 封禁了一批使用 AI 生成评论、批评某俄罗斯反腐基金会及相关人士的账号。
OpenAI NewsAI 评分3434 OpenAI 封禁与伊朗关联的 CyberAv3ngers 账号
OpenAI 封禁了疑似属于伊朗关联黑客组织 CyberAv3ngers 的账号，这些账号利用 AI 研究工业控制系统、默认凭据和攻击目标。
OpenAI NewsAI 评分3434 OpenAI 封禁利用 AI 生成卢旺达选举党派评论的账号
OpenAI 封禁了一批源自卢旺达、利用 AI 生成党派评论的账号，这些账号在该国选举前发布相关内容。
OpenAI NewsAI 评分4444 OpenAI 封禁利用 AI 生成多语种影响力内容的 "A2Z" 账号
OpenAI 封禁了使用 AI 生成多语种影响力内容的 "A2Z" 账号，这些内容涉及选举、乌克兰和政治议题并散布于多个平台。
OpenAI NewsAI 评分4444 OpenAI 封禁伊朗 STORM-2035 影响力行动账号
OpenAI 封禁了伊朗起源的 STORM-2035 影响力行动账号，该行动利用 AI 生成美国和英国选举相关内容并发布到多个网站。
OpenAI NewsAI 评分3636 OpenAI 封禁通过以色列初创公司生成赌博垃圾内容的账号
OpenAI 封禁了一批账号，这些账号通过一家以色列初创公司调用其模型生成对话并向 X 上的赌博网站发送链接。OpenAI 未披露该初创公司名称及被封账号数量。
OpenAI NewsAI 评分3333 OpenAI 封禁利用 AI 撰写辱骂性举报的账号
OpenAI 封禁了使用 AI 起草辱骂性举报和投诉、针对越南公众人物及平台的账号。
OpenAI NewsAI 评分1818 OpenAI 更新安全与安保实践
OpenAI 发布了一份关于其安全与安保实践的更新说明。该更新由 OpenAI 官方发布，但正文仅给出标题，未披露具体的安全措施、政策变化或技术细节。
Hugging Face BlogAI 评分5454 Hugging Face 与 TruffleHog 合作集成密钥扫描功能
Hugging Face 宣布与 Truffle Security 合作，将开源工具 TruffleHog 的密钥扫描能力集成到平台，其自动化扫描流水线现包含恶意软件、pickle 和密钥三类扫描，检测到已验证密钥会通过邮件通知用户。
OpenAI NewsAI 评分4444 Zico Kolter 加入 OpenAI 董事会
Zico Kolter 加入 OpenAI 董事会，并同时加入 Safety & Security Committee，OpenAI 称此举以 AI 安全与对齐方面的专长强化公司治理。
Hugging Face Blog精选AI 评分6464 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型阵容：推出 2.6B 参数的 Gemma 2 2B（含 base 与 instruction-tuned 版本）。
推荐理由：梳理了三个新发布的定位与用法，读者可据此判断小模型在端侧和投机解码中的落地路径。
OpenAI NewsAI 评分3838 OpenAI 用 Rule-Based Rewards 改进模型安全行为
OpenAI 开发并应用了基于规则的奖励（Rule-Based Rewards，RBRs）方法，让模型在无需大量人工数据收集的情况下对齐到安全行为。该方法用规则化的奖励信号替代传统依赖人工标注的训练流程，用于改进模型的安全表现。
OpenAI NewsAI 评分3434 Prover-Verifier Games 提升语言模型输出的可读性
OpenAI 提出 Prover-Verifier Games，通过证明者-验证者博弈提升语言模型输出的可读性，使 AI 解决方案更清晰、更易验证、对人类和机器都更可信。
OpenAI NewsAI 评分4545 OpenAI 与 Los Alamos National Laboratory 宣布研究合作
OpenAI 与 Los Alamos National Laboratory 宣布建立研究合作，共同开发安全评估方法，用于评估和衡量前沿模型相关生物能力与风险。
Hugging Face BlogAI 评分4545 Hugging Face 在 Dataset Hub 上试验基于 Presidio 的自动 PII 检测报告
Hugging Face 在 Dataset Hub 上试验新功能，用开源 PII 检测工具 Presidio 为数据集生成 PII 存在情况的估算报告，帮助 ML 从业者在训练前判断数据集是否含敏感个人信息。
OpenAI NewsAI 评分4444 用 GPT-4 发现 GPT-4 的错误：CriticGPT 帮助人类训练者在 RLHF 中找出 ChatGPT 回答的失误
OpenAI 推出基于 GPT-4 的 CriticGPT，它会为 ChatGPT 的回答撰写批评意见，帮助人类训练者在 RLHF 过程中发现错误。
OpenAI NewsAI 评分1212 OpenAI 网络安全资助计划：赋能防御者
OpenAI 通过其网络安全资助计划（Cybersecurity Grant Program）支持将 AI 集成到网络安全防御中的创新研究。该计划聚焦于用 AI 技术赋能防御者，突出展示了相关领域的前沿研究成果。
OpenAI NewsAI 评分1515 OpenAI：构建真实世界内容审核的自然语言分类系统
OpenAI 提出一套用于真实世界内容审核的自然语言分类系统整体构建方法，强调系统的稳健性与实用性。该方法聚焦于如何在实际内容审核场景中搭建可靠的自然语言分类能力。
OpenAI NewsAI 评分4949 OpenAI 任命退役美军上将 Paul M. Nakasone 为董事会成员
OpenAI 任命退役美军上将 Paul M. Nakasone 加入董事会，他将出任董事会安全与安全委员会（Safety and Security Committee）成员。Nakasone 为不断扩大的董事会带来网络安全领域的经验。
OpenAI NewsAI 评分4444 OpenAI 探索 Voice Engine 文本转语音模型技术与安全研究
OpenAI 探索其文本转语音模型 Voice Engine 背后的技术原理与安全研究。文章介绍了该模型如何将文本合成为语音，并阐述了 OpenAI 围绕 Voice Engine 展开的安全性探索工作。
OpenAI NewsAI 评分3636 OpenAI 打击隐蔽影响力行动中的欺骗性 AI 使用
OpenAI 宣布已终止与隐蔽影响力行动（covert influence operations）相关的账号，并表示其服务未导致此类行动的受众出现显著增长。