OpenAI 用人类反馈总结书籍的研究
OpenAI 发布研究 Summarizing books with human feedback，探讨如何为难以评估的任务扩展对 AI 系统的人类监督。
全部 AI 动态
OpenAI NewsAI 评分5151
OpenAI NewsAI 评分5050 OpenAI Codex 改进版通过 API 私有测试版发布
OpenAI 推出改进版 OpenAI Codex——将自然语言翻译为代码的 AI 系统，并于今日起通过 API 以私有测试版（private beta）形式发布。
OpenAI NewsAI 评分4444 CLIP 中的多模态神经元
OpenAI 发现 CLIP 中存在多模态神经元，对同一概念无论以字面、符号还是概念形式呈现都会产生响应。这一发现可能解释了 CLIP 对概念的意外视觉呈现进行准确分类的原因，也是理解 CLIP 及类似模型所学习的关联与偏见的重要一步。
OpenAI News精选AI 评分7676 OpenAI 发布 CLIP：用自然语言监督连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别的视觉类别名称即可应用于任意视觉分类基准，其零样本能力与 GPT-2 和 GPT-3 类似。
OpenAI News精选AI 评分7878 OpenAI 发布 DALL·E 文本生成图像模型
OpenAI 宣布训练出名为 DALL·E 的神经网络，可根据文本描述为自然语言可表达的广泛概念生成图像。
推荐理由：原文点明了从文本生成图像这一能力方向，读者可据此理解多模态生成的早期定位。
OpenAI NewsAI 评分4141 Image GPT：用 Transformer 生成图像
OpenAI 发现，与训练语言相同的 Transformer 模型在像素序列上训练后，可以生成连贯的图像补全与样本。通过建立样本质量与图像分类准确率的相关性，研究显示其最佳生成模型所含特征在无监督设定下可与顶级卷积网络竞争。
OpenAI News精选AI 评分6262 OpenAI 开源音乐生成模型 Jukebox
OpenAI 发布 Jukebox，一个能以原始音频形式生成多种音乐流派和歌手风格音乐的神经网络，其中包含初步的歌唱能力。OpenAI 同时开源了模型权重和代码，并提供了一个用于浏览生成样本的工具。
推荐理由：原文说明了模型能生成的音频形态与开放程度，读者可据此判断其可复用性。
OpenAI News精选AI 评分7272 OpenAI 发布 GPT-2 最大 1.5B 参数版本，完成分阶段发布
OpenAI 发布 GPT-2 最大的 1.5B 参数版本，同时开放代码和模型权重以便利对 GPT-2 输出的检测，这是 GPT-2 分阶段发布的最终模型。作者表示自 8 月以来已有更大的语言模型发布，但仍按原计划推进，希望这一完整分阶段发布流程能为未来强大模型的开发者提供参考，并继续与 AI 社区讨论负责任的发布方式。
推荐理由：原文交代了分阶段发布计划的收尾背景，读者可借此理解负责任发布这一做法的完整流程。
OpenAI News精选AI 评分7272 OpenAI 用机器人手在模拟训练中学会解魔方
OpenAI 训练了一对神经网络，让类人机器人手解开魔方。训练完全在模拟环境中进行，使用了与 OpenAI Five 相同的强化学习代码，并结合一种名为 Automatic Domain Randomization (ADR) 的新技术。系统能应对训练中未见过的情况，例如被毛绒长颈鹿戳碰，表明强化学习可解决物理世界中要求极高灵巧度的问题。
推荐理由：原文点明训练完全在模拟中完成并迁移到物理世界，读者可据此理解强化学习在真实机器人上的可行性路径。
OpenAI NewsAI 评分5555 OpenAI 用人类偏好微调 GPT-2 的研究
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，使其在多项任务上匹配外部标注者的偏好，但这些偏好并不总与 OpenAI 自身一致。摘要任务中，标注者偏好整句照抄输入（OpenAI 只要求他们保证准确性），模型因此学会了复制；该任务耗费 60k 人类标注，而多种风格续写等简单任务只需 5k。
OpenAI News精选AI 评分6161 OpenAI：多智能体捉迷藏游戏中涌现出渐进复杂的工具使用
OpenAI 报告在新的模拟捉迷藏环境中训练智能体，观察到它们在简单游戏中逐步发现愈发复杂的工具使用，累计形成六种不同的策略与反策略，其中部分策略是作者此前不知道环境所支持的。这种简单环境中的自监督涌现复杂性表明，多智能体协同适应有朝一日可能产生极其复杂和智能的行为。
推荐理由：原文以捉迷藏游戏为例说明多智能体对抗如何催生出连作者都未预料的工具使用策略，可帮助理解涌现行为的研究路径。
OpenAI News精选AI 评分7676 OpenAI 发布 774M 参数 GPT-2 模型并开源法律协议
OpenAI 在发布 124M 小模型、分阶段发布 355M 中模型及相关误用与社会效益研究后，正式发布 774M 参数的 GPT-2 语言模型。同时发布一份开源法律协议，方便组织之间发起模型共享合作，并公布技术报告介绍其与 AI 研究社区协调发布规范的经验。
推荐理由：原文交代了分阶段发布路径与配套法律协议，读者可了解其模型共享合作的落地方式。
OpenAI NewsAI 评分5555 OpenAI 发布 MuseNet 音乐生成模型
OpenAI 发布 MuseNet，一个可生成 4 分钟、包含 10 种乐器并融合从 country 到 Mozart 到 the Beatles 等不同风格的深度神经网络。
OpenAI NewsAI 评分5858 OpenAI 发布 Sparse Transformer：序列预测长度提升至30倍
OpenAI 发布 Sparse Transformer，这是一种深度神经网络，在文本、图像和声音的序列下一 token 预测上刷新纪录。它通过对注意力机制做算法改进，能从比此前可能长 30 倍的序列中提取模式。
OpenAI News精选AI 评分6262 OpenAI Five 连胜 Dota 2 世界冠军 OG
OpenAI Five 在本周末的 Finals 中连胜两局，击败 Dota 2 世界冠军战队 OG，成为首个在电竞项目中战胜世界冠军的 AI。原文指出，OpenAI Five 与 DeepMind 的 AlphaStar 此前都曾在私下击败过顶尖职业选手但输掉了现场直播的比赛，因此这也是 AI 首次在直播中战胜电竞职业选手。
推荐理由：原文点明这是 AI 首次在直播中战胜电竞职业选手，提供了与 AlphaStar 此前战绩的对照背景。
OpenAI NewsAI 评分3838 OpenAI Five 决赛
OpenAI 将于 4 月 13 日 11:30am PT 举办 OpenAI Five 的最后一场现场比赛。这是 OpenAI Five 系列的收官赛事。
OpenAI NewsAI 评分4141 OpenAI：基于能量模型的隐式生成与泛化方法研究
OpenAI 在能量模型（EBM）的稳定与可扩展训练上取得进展，生成样本的质量和泛化能力优于现有模型。EBM 生成过程会投入更多算力持续优化答案，在低温下可生成与 GAN 竞争的样本，同时具备基于似然模型的模式覆盖保证。OpenAI 希望这些发现能推动对这一模型类别的进一步研究。
OpenAI News精选AI 评分7272 OpenAI 发布大规模无监督语言模型并阐述其影响
OpenAI 宣布训练出一个大规模无监督语言模型，能生成连贯段落，在多个语言模型基准上取得 state-of-the-art 表现，并在未经任务特定训练的情况下完成初步的阅读理解、机器翻译、问答和摘要任务。
OpenAI NewsAI 评分4141 OpenAI 用能量函数学习概念
OpenAI 开发了一个能量模型（energy-based model），仅用 5 个示例即可快速学会识别并生成 near、above、between、closest、furthest 等以 2d 点集表达的概念。该模型还实现了跨领域迁移，能将在 2d 粒子环境中习得的概念用于解决 3 维物理机器人任务。
OpenAI NewsAI 评分4444 OpenAI 用基于预测的奖励实现强化学习探索
OpenAI 开发了 Random Network Distillation (RND)，一种基于预测、通过好奇心驱动强化学习智能体探索环境的方法，首次在 Montezuma's Revenge 上超过人类平均水平。
OpenAI NewsAI 评分4646 OpenAI 提出迭代放大：用任务分解学习超越人类规模的复杂目标
OpenAI 提出一种名为迭代放大（iterated amplification）的 AI 安全技术，通过把任务分解为更简单的子任务来指定超越人类规模的复杂行为与目标，而非提供标注数据或奖励函数。该想法仍处极早期，目前仅在简单的玩具算法领域完成实验，但 OpenAI 认为它可能成为一种可扩展的 AI 安全路径，因此决定先以初步状态公开。
OpenAI NewsAI 评分4949 OpenAI Five 在 The International 2018 的比赛结果
OpenAI Five 在温哥华 The International 2018 上与顶尖 Dota 2 选手对战两场均告负，但两场比赛的前 20–35 分钟都保持着良好的获胜机会。
OpenAI NewsAI 评分5151 OpenAI Five 在 Dota 2 表演赛中三局两胜击败 99.95 分位人类选手队
OpenAI 宣布 OpenAI Five 在一场三局两胜的比赛中击败了由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的 Dota 选手队，这五人处于 99.95 分位水平，其中四人曾是职业选手。比赛在现场观众和 100,000 名并发直播观众面前进行。
OpenAI NewsAI 评分3030 OpenAI Five Benchmark 对战结束
OpenAI Five 的 Benchmark 对战已经结束。原文仅宣布了这一结果，未披露对战的具体比分、对手或后续安排。
OpenAI NewsAI 评分4444 Glow：更好的可逆生成模型
OpenAI 推出可逆生成模型 Glow，采用可逆 1x1 卷积，简化了此前可逆生成模型的架构。Glow 能生成逼真的高分辨率图像、支持高效采样，并能发现可用于操纵数据属性的特征。OpenAI 同时开源了模型代码并上线在线可视化工具供人探索。
OpenAI NewsAI 评分4444 OpenAI 用单次人类演示在 Montezuma's Revenge 中取得 74,500 分
OpenAI 训练的智能体仅凭一次人类演示就在 Montezuma's Revenge 中取得 74,500 分的高分，超过此前任何已发表结果。该算法让智能体从演示中精心挑选的状态开始玩游戏序列，并通过 PPO 优化游戏分数进行学习，PPO 正是支撑 OpenAI Five 的强化学习算法。
OpenAI NewsAI 评分5555 OpenAI Five 在 Dota 2 中击败业余人类队伍
OpenAI 宣布其由五个神经网络组成的团队 OpenAI Five 已开始在 Dota 2 中击败业余人类队伍。
OpenAI News精选AI 评分6666 OpenAI 用无监督预训练在语言任务上取得 SOTA 结果
OpenAI 宣布用一个可扩展、任务无关的系统在多种语言任务上取得 state-of-the-art 结果，并同步开源该系统。其方法结合了 transformer 与无监督预训练两个已有思路，结果表明监督学习方法搭配无监督预训练效果很好，作者希望这一结果能推动在更大、更多样数据集上开展相关研究。
推荐理由：原文点明了方法组合与可迁移结论，读者可据此理解监督学习配无监督预训练这一思路的价值。
OpenAI NewsAI 评分4444 OpenAI 提出通过辩论实现 AI 安全的方法
OpenAI 提出一种 AI 安全技术，让 AI 智能体就议题相互辩论，由人类评判胜负，以此训练智能体。
OpenAI NewsAI 评分4545 OpenAI 发布实验性元学习方法 Evolved Policy Gradients
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数实现新任务上的快速训练。用 EPG 训练的智能体在测试时能完成训练范围之外的基础任务，例如导航到与训练时放置位置不同一侧的物体。
OpenAI NewsAI 评分3838 OpenAI：通过教学实现可解释的机器学习
OpenAI 提出一种让 AI 互相教学的方法，所选示例同时对人类可解释，会自动挑选信息量最大的例子来教授某个概念（如描述“狗”概念的最佳图片）。实验发现该方法在教 AI 方面有效。
OpenAI NewsAI 评分1818 OpenAI：通过自动发现类型实现词义消歧
OpenAI 构建了一套系统，通过让神经网络判断一个词是否属于约 100 个自动发现的“类型”（非互斥类别），来自动确定该词所指的对象，从而实现词义消歧（entity disambiguation）。
OpenAI NewsAI 评分2525 OpenAI：Learning a hierarchy（分层强化学习算法）
OpenAI 开发了一种分层强化学习算法，能学习对多种任务有用的高层动作，快速解决需要数千个时间步的任务。该算法应用于一组导航问题时，发现了向不同方向行走和爬行的高层动作，使智能体能快速掌握新的导航任务。
OpenAI News精选AI 评分6161 OpenAI 发现自博弈让 AI 自主学会体育动作技能
OpenAI 表示自博弈让模拟 AI 无需专门设计环境即可自行发现铲球、躲闪、假动作、踢球、接球和鱼跃扑球等身体技能，并确保环境难度始终适合 AI 提升。结合此前 Dota 2 的自博弈结果，OpenAI 表示对自博弈将成为未来强大 AI 系统核心部分的信心在增加。
推荐理由：原文把 Dota 2 与足球自博弈结果并列，说明自博弈可迁移到不同环境并自动匹配难度。
OpenAI NewsAI 评分4444 OpenAI 开源 LOLA 算法：让智能体学会建模其他智能体的学习过程
OpenAI 发布 Learning with Opponent-Learning Awareness（LOLA）算法，该算法在训练中考虑其他智能体也在学习的事实，能在迭代囚徒困境中发现自利但协作的策略，如以牙还牙（tit-for-tat）。LOLA 是让智能体学会建模其他智能体心智的一小步。
OpenAI News精选AI 评分6060 OpenAI 解释 Dota 2 系统靠自博弈超越职业选手
OpenAI 表示其 Dota 2 结果表明，在算力充足时自博弈能把机器学习系统从远低于人类水平推到超人水平。系统在一个月内从勉强匹配高分玩家进步到击败顶尖职业选手，并在此后持续提升；作者指出监督学习受限于训练数据质量，而自博弈系统中可用数据会随智能体变强而自动改善。
推荐理由：原文点明自博弈让训练数据随智能体变强而自动变好，解释了为何系统能在一个月内快速超越职业选手。
OpenAI News精选AI 评分7070 OpenAI 发布能击败 Dota 2 顶尖职业选手的 1v1 自对弈机器人
OpenAI 宣布其开发的机器人在标准赛事规则下的 Dota 2 1v1 对战中击败了世界顶尖职业选手。该机器人完全通过自对弈从零学会游戏，不使用模仿学习或树搜索，OpenAI 称这是迈向在复杂真实人类场景中完成明确目标的 AI 系统的一步。
OpenAI NewsAI 评分2727 OpenAI：用参数噪声改进强化学习探索
OpenAI 发现给强化学习算法的参数加入自适应噪声通常能提升性能。该探索方法实现简单，且极少导致性能下降，值得在各类问题上尝试。
OpenAI NewsAI 评分5555 OpenAI 发布强化学习算法 Proximal Policy Optimization (PPO)
OpenAI 发布新的强化学习算法 Proximal Policy Optimization (PPO)，其表现与当前最先进方法相当或更好，同时实现和调参更简单。PPO 因易用性和良好表现已成为 OpenAI 内部默认的强化学习算法。
OpenAI NewsAI 评分4545 OpenAI：可从多尺度多视角欺骗神经网络分类器的对抗样本
OpenAI 制造出能在不同尺度和视角下可靠欺骗神经网络分类器的对抗样本图像，直接挑战了上周"自动驾驶汽车因从多尺度、多角度、多视角采集图像而难以被恶意欺骗"的说法。