CyberSecEval 2 发布：评估 LLM 网络安全风险与能力的综合基准
CyberSecEval 2 是评估 LLM 网络安全风险的开源评测框架，涵盖不安全代码生成、提示词注入、协助网络攻击的顺从度、代码解释器滥用和自动化攻击能力五类测试。自 2023 年 12 月首版以来，LLM 平均协助网络攻击请求的顺从率从 52% 降至 28%；提示词注入防护仍未解决，代码专用模型与通用模型的安全差距在缩小，模型端到端漏洞利用能力仍有限。
#安全/对齐
Hugging Face BlogAI 评分5757
OpenAI NewsAI 评分2020 OpenAI 安全实践
OpenAI 阐述了其负责任地开发和部署通用人工智能（AGI）的安全实践，指出 AGI 有潜力造福生活的几乎每个方面，因此必须以负责任的方式进行开发和部署。
OpenAI NewsAI 评分4545 OpenAI 推出识别 AI 生成内容的新技术并加入 C2PA 指导委员会
OpenAI 推出新技术，帮助研究人员识别由其工具生成的内容，并加入 Coalition for Content Provenance and Authenticity（C2PA）指导委员会以推动行业标准。
OpenAI NewsAI 评分4444 OpenAI 封禁与以色列关联的 "Zero Zeno" 影响力行动账号
OpenAI 封禁了一批与此前未被披露、代号 "Zero Zeno" 的以色列关联影响力行动相关的账号，该行动利用 AI 生成反哈马斯、反卡塔尔、亲以色列、反 BJP 及亲 Histadrut 的内容。
OpenAI NewsAI 评分4444 OpenAI 封禁与伊朗关联的 IUVM 影响力内容网络账号
OpenAI 封禁了与伊朗起源的"IUVM"行动相关的账号，该行动利用 AI 生成并翻译亲伊朗、反以色列和反美国的网站内容。
OpenAI NewsAI 评分4444 OpenAI 封禁与俄罗斯关联的 "Bad Grammar" Telegram 评论账号
OpenAI 封禁了一批与此前未被披露的俄罗斯关联行动相关的账号，该行动被其命名为 "Bad Grammar"，利用 AI 生成关于乌克兰、摩尔多瓦、波罗的海国家和美国政治的英文及俄文 Telegram 评论。
OpenAI NewsAI 评分4343 OpenAI 封禁与 "Spamouflage" 行动相关的账号
OpenAI 封禁了与源自中国（PRC）的 "Spamouflage" 行动相关的账号，该行动利用 AI 研究社交媒体活动、生成帖子，并调试一个此前未被报告的网站。
OpenAI NewsAI 评分4444 OpenAI 封禁与俄罗斯"Doppelganger"影响力行动相关的账号
OpenAI 封禁了与俄罗斯发起的"Doppelganger"影响力行动相关的账号，该行动利用 AI 生成反乌克兰的社交媒体评论、多语种翻译和网站文案。
OpenAI NewsAI 评分4343 OpenAI：训练 LLM 优先遵循特权指令的指令层级方法
OpenAI 提出指令层级（Instruction Hierarchy）方法，训练 LLM 在面对提示注入、越狱等攻击时优先遵循特权指令，防止攻击者用恶意提示覆盖模型的原始指令。
Hugging Face BlogAI 评分5555 Hugging Face 与 Wiz Research 合作提升平台安全并公布 pickle 缓解策略
Hugging Face 宣布与云安全公司 Wiz 合作，Wiz 研究团队通过 pickle 在其沙箱计算环境中执行任意代码，发现平台安全缺陷，Hugging Face 表示已修复相关漏洞。
Hugging Face BlogAI 评分4545 Hugging Face 与 Lighthouz AI 推出 Chatbot Guardrails Arena：盲测 LLM 隐私护栏
Lighthouz AI 与 Hugging Face 联合推出 Chatbot Guardrails Arena，让用户与两个匿名 LLM 对话，尝试套取虚构银行 XYZ001 的客户敏感财务信息，再投票选出隐私保护更好的一方。
Hugging Face BlogAI 评分5656 Hugging Face 解读 AI 水印技术：原理、工具与各模态挑战
Hugging Face 发布博客介绍 AI 生成内容的水印技术，涵盖生成时嵌入与生成后添加两种方式，并讨论开放与闭源水印的权衡。
Hugging Face BlogAI 评分4747 Hugging Face 推出 Red-Teaming Resistance Leaderboard：用人类越狱提示词测试前沿模型的抗红队能力
Haize Labs 在 Hugging Face 团队支持下推出 Red Teaming Resistance Benchmark，用 AdvBench、Beavertails、Do Not Answer 等多个红队数据集中的高质量人类越狱提示词，系统测试前沿 LLM 在极端红队攻击下的鲁棒性。
Hugging Face Blog精选AI 评分6161 Hugging Face 开源 Constitutional AI 训练配方与 llm-swarm 工具
Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方，并开源基于 Slurm 集群、由 TGI 和 vLLM 支撑的可扩展合成数据生成工具 llm-swarm。
推荐理由：完整给出用开源模型做 Constitutional AI 的可复用配方与评测数据，便于迁移实践。
OpenAI NewsAI 评分5656 OpenAI 发布 LLM 辅助生物威胁创建风险评估蓝图
OpenAI 正在开发一套评估大语言模型是否可能协助制造生物威胁的蓝图。在包含生物学专家和学生的评估中，他们发现 GPT-4 对生物威胁创建准确度的提升最多仅为轻微程度；该提升尚不足以得出结论，但这一发现为后续研究和社区讨论提供了起点。
Hugging Face BlogAI 评分4747 Hugging Face 推出 LLM Safety Leaderboard：基于 DecodingTrust 的大模型安全评测榜单
Hugging Face 联合 Secure Learning Lab 发布 LLM Safety Leaderboard，基于 2023 年获 NeurIPS 2023 杰出论文奖的 DecodingTrust 平台，使用 HF leaderboard 模板对大模型进行安全评测。
OpenAI NewsAI 评分4444 OpenAI 推出 $10M Superalignment Fast Grants
OpenAI 推出 $10M 的 Superalignment Fast Grants，资助面向超人类 AI 系统对齐与安全的技术研究。资助方向包括 weak-to-strong generalization、可解释性（interpretability）、可扩展监督（scalable oversight）等。
OpenAI NewsAI 评分4242 OpenAI 超级对齐研究：用弱监督者控制强模型
OpenAI 提出超级对齐的新研究方向——利用深度学习的泛化特性，用弱监督者控制强模型（weak-to-strong generalization），并公布了初步的积极结果。
OpenAI NewsAI 评分4545 OpenAI：前沿风险与准备度
OpenAI 正在开发应对灾难性风险的准备度方法，包括组建 Preparedness 团队并发起一项挑战，以支持高能力 AI 系统的安全。
OpenAI NewsAI 评分3131 Frontier Model Forum 更新：新任执行主任与 1000 万美元 AI 安全基金
OpenAI 与 Anthropic、Google、Microsoft 联合宣布 Frontier Model Forum 新任执行主任，并推出 1000 万美元 AI Safety Fund。该基金由四家共同发起，用于支持人工智能安全相关研究与项目。
Hugging Face BlogAI 评分3636 Hugging Face 伦理与社会通讯 #5：Hugging Face 走进华盛顿及 2023 夏日随想
Hugging Face 发布伦理与社会通讯 #5，汇总其今夏在 E.U.、U.K.、U.S. 的 AI 监管参与，包括 CEO Clem 向美国国会作证、在参议院 AI Insight Forum 发言、就 E.U. AI Act 提供建议，以及首席伦理科学家 Meg 向民主党党团提交意见。
Hugging Face BlogAI 评分4747 通过 TRL 用 DDPO 微调 Stable Diffusion 模型
Hugging Face 在 trl 库中集成了 DDPOTrainer，支持用 Denoising Diffusion Policy Optimization（DDPO）微调 Stable Diffusion 等扩散模型。
OpenAI NewsAI 评分2929 OpenAI Red Teaming Network 公开招募
OpenAI 宣布面向公众开放 OpenAI Red Teaming Network 的招募，邀请关注模型安全的各领域专家加入，共同提升 OpenAI 模型的安全性。
Hugging Face BlogAI 评分4040 Hugging Face 停止支持 Git 密码认证
Hugging Face 将于 10 月 1 日起停止接受密码作为 Git 命令行操作的认证方式，用户需改用 personal access token 或 SSH key。token 与 SSH key 具备唯一、可撤销、随机等特性，安全性优于传统密码。依赖密码认证的用户会收到邮件提醒，需在 10 月 1 日前完成切换。
OpenAI NewsAI 评分5555 OpenAI 用 GPT-4 进行政策制定与内容审核
OpenAI 用 GPT-4 进行内容政策制定和内容审核决策，使标注更一致、政策优化的反馈循环更快，并减少人工审核员的参与。
Hugging Face BlogAI 评分4545 基于 FHE 的加密大语言模型：Hugging Face GPT2 实践
Zama 展示了如何用全同态加密（FHE）让 Hugging Face transformers 库中的 GPT2 在加密数据上运行推理，同时保护用户隐私和模型 IP。
OpenAI NewsAI 评分4343 OpenAI 成立 Frontier Model Forum 推动前沿 AI 安全发展
OpenAI 联合多家公司成立新行业组织 Frontier Model Forum，旨在推动前沿 AI 系统的安全与负责任发展。该组织将推进 AI 安全研究、识别最佳实践与标准，并促进政策制定者与行业之间的信息共享。
OpenAI NewsAI 评分4545 OpenAI 推进 AI 治理：与领先实验室共同作出自愿性承诺
OpenAI 与其他领先实验室通过自愿性承诺，共同加强对 AI 安全性、安全性与可信度的保障。
Hugging Face BlogAI 评分5151 Hugging Face 伦理与社会通讯 #4：文生图模型中的偏差
Hugging Face 发布伦理与社会通讯第 4 期，梳理文生图（TTI）模型中偏差的来源与应对方法。
Hugging Face BlogAI 评分2323 Hugging Face 发布新版内容指南与政策
Hugging Face 更新了平台内容政策（Content Policy），以"同意"（consent）为核心价值，规范用户所见内容以及个人身份与表达的呈现方式。
OpenAI NewsAI 评分2828 OpenAI Cybersecurity Grant Program
OpenAI 推出 Cybersecurity Grant Program，通过资助及其他支持推动 AI 驱动的网络安全能力建设，服务对象为防御方。该项目旨在帮助防御者开发基于 AI 的网络安全能力。
OpenAI News精选AI 评分6666 OpenAI 用过程监督提升数学推理并取得新 SOTA
OpenAI 训练的模型通过奖励每一步正确的推理过程（过程监督）而非仅奖励最终答案（结果监督），在数学问题求解上取得新的 SOTA。原文指出过程监督除提升性能外，还能直接训练模型产出经人类认可的 chain-of-thought，带来对齐层面的收益。
推荐理由：原文对比了过程监督与结果监督的差异，读者可据此理解奖励每一步推理对性能和对齐的双重作用。
OpenAI NewsAI 评分4444 OpenAI 推出民主化 AI 决策实验资助计划
OpenAI, Inc. 启动一项计划，将发放十笔各 $100,000 的资助，用于资助在法律界定范围内为 AI 系统应遵循何种规则建立民主决策流程的实验。
Hugging Face BlogAI 评分5555 Hugging Face 宣布 safetensors 通过安全审计并将成为默认模型格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库进行外部安全审计，结果显示未发现可导致任意代码执行的严重漏洞，仅修复了规范不精确和缺失校验导致的 polyglot 文件问题。
OpenAI NewsAI 评分4545 超级智能的治理
OpenAI 提出现在是开始思考超级智能治理的合适时机，超级智能指未来能力远超 AGI 的 AI 系统。
OpenAI NewsAI 评分5656 ChatGPT 新增关闭聊天历史与数据训练控制功能
ChatGPT 用户现在可以关闭聊天历史，从而选择哪些对话可用于训练 OpenAI 的模型。
OpenAI NewsAI 评分3838 OpenAI 推出 Bug Bounty 漏洞赏金计划
OpenAI 宣布推出 Bug Bounty 漏洞赏金计划，邀请外部安全研究者帮助发现其技术和服务中的安全漏洞。OpenAI 表示，该计划是其致力于开发安全、先进 AI 的重要一环，需要外界协助打造安全、可靠、可信赖的技术与服务。
OpenAI NewsAI 评分88 OpenAI 的 AI 安全方法
OpenAI 阐述了其 AI 安全方法，指出确保 AI 系统被安全地构建、部署和使用对其使命至关重要。
Hugging Face BlogAI 评分4444 Hugging Face 伦理与社会通讯 #3：Hugging Face 的伦理式开放
Hugging Face 发布伦理与社会通讯 #3，阐述在开放与风险控制之间寻求平衡的"伦理式开放"策略。
Hugging Face BlogAI 评分3838 Hugging Face 为 Diffusers 库发布伦理框架与安全机制清单
Hugging Face 在 Diffusers 库文档中发布伦理框架，以透明、一致、简洁、可访问、可复现、负责任六项原则指导社区贡献的技术决策。