OpenAI：为 AGI 及更远的未来做规划
OpenAI 发布《Planning for AGI and beyond》，阐述其使命是确保通用人工智能（AGI）——即总体上比人类更聪明的 AI 系统——造福全人类。文章围绕 AGI 的规划与更长远的未来展开讨论。
#安全/对齐
OpenAI NewsAI 评分4545 Hugging Face BlogAI 评分4949 大语言模型红队测试指南
Hugging Face 介绍了大语言模型（LLM）的红队测试（Red-teaming），即通过构造自然语言提示词来诱发模型产生有害输出，与使用无意义字符串的对抗攻击不同，红队提示词看起来就是普通对话。文章指出红队测试可揭示模型泄露个人信息、生成偏见与仇恨内容等风险，输出可用于训练模型减少危害，但该领域仍处于早期阶段，随着模型能力涌现，需要持续演进的红队方法并推动多方协作共享数据集与最佳实践。
OpenAI NewsAI 评分4444 AI 系统应如何表现，由谁来决定？
OpenAI 阐明了 ChatGPT 行为的塑造方式，并公布改进该行为、允许更多用户自定义以及在这些决策中获取更多公众意见的计划。
Hugging Face Blog精选AI 评分6060 Hugging Face 解读让对话智能体更有用的关键技术
Hugging Face 博客梳理了 ChatGPT 背后的 RLHF、IFT、SFT、CoT、红队测试等技术，对比了 LaMDA、BlenderBot 3、Sparrow、InstructGPT、Assistant 在公开访问、训练数据、模型架构和评测维度上的差异。
推荐理由：通过对比表和分类梳理，读者可快速理解 IFT、SFT、RLHF、CoT 各自作用与数据需求差异。
OpenAI NewsAI 评分4444 OpenAI 预测大语言模型被滥用于虚假信息活动的潜在风险及缓解框架
OpenAI 与 Georgetown University 的 Center for Security and Emerging Technology、Stanford Internet Observatory 合作，发布报告预测大语言模型被滥用于虚假信息活动的潜在风险，并提出分析缓解措施的框架。
Hugging Face BlogAI 评分4949 Hugging Face 谈机器学习中的偏见：伦理与社会通讯 #2
Hugging Face 伦理与社会团队发布通讯 #2，系统梳理机器学习开发各阶段应对偏见的经验与工具。文章指出 ML 模型作为社会技术系统会放大不平等，单一技术干预难以解决，需结合部署语境持续响应反馈。文中按任务定义、数据集筛选、模型训练等环节推荐了 🤗 团队开发的偏见分析工具。
Hugging Face BlogAI 评分4444 用同态加密实现情感分析：Concrete-ML 实战教程
Hugging Face 发布教程，演示如何用 Concrete-ML 库在全同态加密（FHE）数据上构建情感分析模型，无需密码学知识。
Hugging Face BlogAI 评分4444 用 🤗 Evaluate 评估语言模型偏差
Hugging Face 在 🤗 Evaluate 库中新增偏差度量，支持用 Toxicity、Polarity、Hurtfulness 三个基于提示词的任务评估 GPT-2、BLOOM 等因果语言模型的偏差。
Hugging Face BlogAI 评分3434 Hugging Face 伦理与社会通讯第一期
Hugging Face 推出首期《伦理与社会》通讯，由公司内部跨部门的“Ethics and Society regulars”小组每季度在春分、秋分时发布，分享其在 AI 伦理落地方面的思考与实践。
Hugging Face BlogAI 评分5353 Hugging Face 阐释 OpenRAIL：开放且负责任的 AI 许可框架
Hugging Face 支持 RAIL Initiative 推出 OpenRAIL 许可框架，包含 Open（免版税访问、灵活下游使用与再分发）和 Responsible（在特定关键场景嵌入使用限制条款）两大特征，并要求下游再分发和衍生版本继承这些使用限制。
OpenAI NewsAI 评分2323 OpenAI 的对齐研究方法
OpenAI 正在提升 AI 系统从人类反馈中学习的能力，并帮助人类评估 AI，目标是构建一个足够对齐的 AI 系统，以协助解决其他所有对齐问题。
OpenAI NewsAI 评分4141 OpenAI 推出全新内容审核工具 Moderation endpoint
OpenAI 推出全新的 Moderation endpoint 内容审核工具，改进了此前的内容过滤器，今日起向 OpenAI API 开发者免费开放。
OpenAI NewsAI 评分5050 OpenAI 减少 DALL·E 2 偏见并提升安全性
OpenAI 为 DALL·E 2 上线一项新技术，使其生成的人物图像更准确地反映世界人口的多样性。该技术旨在减少模型偏见并提升生成内容的安全性。
Hugging Face BlogAI 评分3838 Hugging Face 教你用对抗数据动态训练模型
Hugging Face 以 MNIST 手写数字识别为例，演示如何通过 🤗 Spaces 动态收集对抗数据并迭代训练模型：用户在画布上手写数字骗过模型，flag 后存入数据集并重新训练，循环多轮提升鲁棒性。
OpenAI NewsAI 评分3030 DALL·E 2 预训练阶段的风险缓解措施
OpenAI 为 DALL·E 2 设置了多项防护措施，以降低强大图像生成模型带来的风险。这些护栏旨在防止生成的图像违反其内容政策，从而让更广泛的受众安全使用 DALL·E 2。
OpenAI NewsAI 评分4444 OpenAI 训练“批评写作”模型帮助人类发现摘要缺陷
OpenAI 训练了“批评写作”模型来描述摘要中的缺陷，人类评估者在看到模型批评后发现摘要缺陷的频率大幅提高。更大的模型自我批评能力更强，规模提升对批评写作的改进大于对摘要写作的改进。这表明 AI 系统有望在困难任务上辅助人类对 AI 系统的监督。
OpenAI NewsAI 评分3838 Cohere、OpenAI 与 AI21 Labs 发布大语言模型部署最佳实践
Cohere、OpenAI 和 AI21 Labs 联合制定了一套适用于任何开发或部署大语言模型的组织的初步最佳实践。该实践面向通用场景，不限于特定厂商。
Hugging Face BlogAI 评分2929 Hugging Face 多模态学习团队发布项目伦理宪章
Hugging Face 多模态学习团队发布了一份项目伦理宪章，将伦理原则前置到机器学习研究生命周期的核心。宪章由伦理落地、数据治理和隐私专家共同参与制定，明确了透明、开放可复现、公平、自我批判、致谢五项价值观，并列出禁止暴力歧视、侵犯隐私版权、生成虚假信息及在医疗法律等高风险领域滥用等六类内容政策。文档标注为 2022 年 5 月的阶段性成果，更新将通过 GitHub 追踪。
Hugging Face BlogAI 评分3838 Machine Learning Experts 播客访谈：Margaret Mitchell 谈伦理 AI 与数据偏见
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Margaret Mitchell，她曾创立并共同领导 Google 的 Ethical AI Team，发表 50 多篇论文，现于 Hugging Face 负责制定伦理 AI 研究协议、包容性招聘与文化建设。
OpenAI NewsAI 评分4040 OpenAI：语言模型安全与滥用的经验教训
OpenAI 分享了其在语言模型安全与滥用方面的最新思考，希望帮助其他 AI 开发者应对已部署模型的安全与滥用问题。
OpenAI News精选AI 评分7676 OpenAI 发布 InstructGPT 并设为 API 默认模型
OpenAI 发布 InstructGPT 系列语言模型，称其遵循用户意图的能力优于 GPT-3，同时更真实、毒性更低，采用对齐研究中的人类参与训练技术，现已在 API 中设为默认语言模型。
推荐理由：说明了用人类反馈对齐技术让模型更好遵循指令并降低毒性，可迁移至同类模型训练。
OpenAI NewsAI 评分4141 OpenAI：通过在精选数据集上微调改进语言模型行为
OpenAI 研究发现，在一个小型精选数据集上微调，可以改进语言模型在特定行为价值观上的表现。该方法只需少量精选数据即可实现对模型行为的定向调整。
OpenAI NewsAI 评分4141 OpenAI 参与撰写提升 AI 开发可验证性的多方报告
OpenAI 参与了由 30 家组织 58 位合著者共同完成的多方报告，报告提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可用这些机制为 AI 系统的安全、公平与隐私保护提供证据，用户、政策制定者与民间社会则可用其评估 AI 开发流程。
OpenAI NewsAI 评分4444 OpenAI 开源 Safety Gym：用于测量强化学习智能体安全约束的环境与工具集
OpenAI 发布 Safety Gym，一套用于测量强化学习智能体在训练中遵守安全约束进展的环境与工具集。该套件面向训练阶段的安全性评估，帮助研究者量化智能体在满足安全约束方面的进展。
OpenAI NewsAI 评分5555 OpenAI 用人类偏好微调 GPT-2 的研究
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，使其在多项任务上匹配外部标注者的偏好，但这些偏好并不总与 OpenAI 自身一致。摘要任务中，标注者偏好整句照抄输入（OpenAI 只要求他们保证准确性），模型因此学会了复制；该任务耗费 60k 人类标注，而多种风格续写等简单任务只需 5k。
OpenAI NewsAI 评分3434 OpenAI 提出衡量神经网络分类器对抗未见攻击鲁棒性的新方法
OpenAI 提出一种方法，用于评估神经网络分类器能否可靠防御训练期间未见过的对抗攻击，并由此得到新指标 UAR（Unforeseen Attack Robustness），衡量单一模型对未预期攻击的鲁棒性。该方法还强调需要在更广泛的未见攻击范围内衡量模型表现。
OpenAI NewsAI 评分3131 OpenAI：为什么负责任的 AI 开发需要安全合作
OpenAI 发布政策研究论文，提出四项可立即实施的策略以推动 AI 安全规范的长期行业合作：沟通风险与收益、技术协作、提高透明度和激励标准。OpenAI 指出行业竞争压力可能引发集体行动问题，导致 AI 公司在安全上投入不足，希望这些策略能促进安全开发合作并带来更好的全球成果。
OpenAI NewsAI 评分3636 AI 安全需要社会科学家
OpenAI 发布论文，主张长期 AI 安全研究需要社会科学家参与，以确保 AI 对齐算法在真实人类参与时依然有效。论文指出，将先进 AI 系统与人类价值对齐需要解决人类理性、情绪与偏见心理学方面的诸多不确定性，旨在推动机器学习与社会科学界的合作，OpenAI 计划全职招聘社会科学家。
OpenAI NewsAI 评分4646 OpenAI 提出迭代放大：用任务分解学习超越人类规模的复杂目标
OpenAI 提出一种名为迭代放大（iterated amplification）的 AI 安全技术，通过把任务分解为更简单的子任务来指定超越人类规模的复杂行为与目标，而非提供标注数据或奖励函数。该想法仍处极早期，目前仅在简单的玩具算法领域完成实验，但 OpenAI 认为它可能成为一种可扩展的 AI 安全路径，因此决定先以初步状态公开。
OpenAI NewsAI 评分4444 OpenAI 提出通过辩论实现 AI 安全的方法
OpenAI 提出一种 AI 安全技术，让 AI 智能体就议题相互辩论，由人类评判胜负，以此训练智能体。
OpenAI NewsAI 评分4545 OpenAI：为防范 AI 恶意使用做好准备
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
OpenAI NewsAI 评分3636 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，一个通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的界面实现。该技术是迈向安全 AI 系统的一步，也适用于奖励难以明确指定的强化学习问题。
OpenAI NewsAI 评分4545 OpenAI：可从多尺度多视角欺骗神经网络分类器的对抗样本
OpenAI 制造出能在不同尺度和视角下可靠欺骗神经网络分类器的对抗样本图像，直接挑战了上周"自动驾驶汽车因从多尺度、多角度、多视角采集图像而难以被恶意欺骗"的说法。
OpenAI NewsAI 评分5555 OpenAI 与 DeepMind 合作提出从人类偏好中学习的算法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过告诉系统两种候选行为中哪一种更好，来推断人类真正想要的目标，以减少人类手写目标函数的需求，避免因代理目标不准确或复杂目标出错而导致危险行为。
OpenAI NewsAI 评分4141 用对抗样本攻击机器学习模型
OpenAI 撰文解释对抗样本——攻击者刻意构造的、会让机器学习模型出错的输入，称其如同机器的视觉错觉。文章展示对抗样本在不同媒介中的工作方式，并讨论为何防御此类攻击较为困难。
OpenAI NewsAI 评分4545 Concrete AI safety problems：OpenAI 与 Google Brain 等合作探讨 AI 安全研究问题
OpenAI 与来自 Berkeley、Stanford 的研究者共同署名，参与了由 Google Brain 研究者主导的论文《Concrete Problems in AI Safety》。该论文探讨了确保现代机器学习系统按预期运行的多个研究问题。