OpenAI 提出迭代放大:用任务分解学习超越人类规模的复杂目标
OpenAI 提出一种名为迭代放大(iterated amplification)的 AI 安全技术,通过把任务分解为更简单的子任务来指定超越人类规模的复杂行为与目标,而非提供标注数据或奖励函数。该想法仍处极早期,目前仅在简单的玩具算法领域完成实验,但 OpenAI 认为它可能成为一种可扩展的 AI 安全路径,因此决定先以初步状态公开。
OpenAI 提出一种名为迭代放大(iterated amplification)的 AI 安全技术,通过把任务分解为更简单的子任务来指定超越人类规模的复杂行为与目标,而非提供标注数据或奖励函数。该想法仍处极早期,目前仅在简单的玩具算法领域完成实验,但 OpenAI 认为它可能成为一种可扩展的 AI 安全路径,因此决定先以初步状态公开。
OpenAI 宣布开放第二期 OpenAI Scholars 项目申请,将提供 6–10 份津贴和导师指导,面向代表性不足群体的个人,资助其全职学习深度学习 3 个月并开源一个项目。
OpenAI 开始接受 2019 年 OpenAI Fellows 与实习生的申请。原文仅说明开放申请,未披露名额、方向或截止日期等细节。
OpenAI 首期 OpenAI Scholars 项目学员已完成该计划并展示了最终项目。
OpenAI Five 在温哥华 The International 2018 上与顶尖 Dota 2 选手对战两场均告负,但两场比赛的前 20–35 分钟都保持着良好的获胜机会。
OpenAI 宣布 OpenAI Five 在一场三局两胜的比赛中击败了由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的 Dota 选手队,这五人处于 99.95 分位水平,其中四人曾是职业选手。比赛在现场观众和 100,000 名并发直播观众面前进行。
OpenAI 首期 OpenAI Scholars 项目已经开课,这批经验丰富的软件开发者正在转型为机器学习从业者,外界可以持续跟进他们的学习进展。
OpenAI Five 的 Benchmark 对战已经结束。原文仅宣布了这一结果,未披露对战的具体比分、对手或后续安排。
OpenAI 推出可逆生成模型 Glow,采用可逆 1x1 卷积,简化了此前可逆生成模型的架构。Glow 能生成逼真的高分辨率图像、支持高效采样,并能发现可用于操纵数据属性的特征。OpenAI 同时开源了模型代码并上线在线可视化工具供人探索。
OpenAI 宣布其由五个神经网络组成的团队 OpenAI Five 已开始在 Dota 2 中击败业余人类队伍。
OpenAI 首届 Retro Contest 已结束,该赛事探索能从既往经验中泛化的算法开发。比赛结果现已公布。
OpenAI 宣布用一个可扩展、任务无关的系统在多种语言任务上取得 state-of-the-art 结果,并同步开源该系统。其方法结合了 transformer 与无监督预训练两个已有思路,结果表明监督学习方法搭配无监督预训练效果很好,作者希望这一结果能推动在更大、更多样数据集上开展相关研究。
推荐理由:原文点明了方法组合与可迁移结论,读者可据此理解监督学习配无监督预训练这一思路的价值。
OpenAI 开始接受新一期 OpenAI Fellows 项目申请,该项目提供在 OpenAI 进行为期 6 个月、有薪酬的 AI 研究学徒计划。
OpenAI 提出一种 AI 安全技术,让 AI 智能体就议题相互辩论,由人类评判胜负,以此训练智能体。
OpenAI 推出 Retro Contest 迁移学习竞赛,用于衡量强化学习算法从过往经验中泛化的能力。
OpenAI 于 3 月 3 日举办了首届黑客松活动,邀请了 100 名人工智能社区成员参与。
OpenAI 推出 OpenAI Scholars 项目,向来自代表性不足群体的个人提供 6–10 份津贴和导师指导,支持其全职学习深度学习 3 个月并开源一个项目。
OpenAI 开源了八个模拟机器人环境和 Hindsight Experience Replay 的 Baselines 实现,均为过去一年内部研究所用。这些环境已被用于训练可在实体机器人上运行的模型,OpenAI 同时发布了若干机器人研究方向的请求(requests for robotics research)。
OpenAI 将于 3 月 3 日周六在旧金山 Mission District 办公室举办演讲与黑客松活动。
OpenAI 宣布迎来新的捐赠者。原文仅以一句简短声明表示欢迎新捐赠者加入,未披露捐赠者名单、金额或其他细节。
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
OpenAI 提出一种让 AI 互相教学的方法,所选示例同时对人类可解释,会自动挑选信息量最大的例子来教授某个概念(如描述“狗”概念的最佳图片)。实验发现该方法在教 AI 方面有效。
OpenAI 发布 Requests for Research 2.0,公开其研究过程中出现的七个尚未解决的问题。这批问题来自 OpenAI 自身研究实践,面向研究社区征集解法。
OpenAI 表示自博弈让模拟 AI 无需专门设计环境即可自行发现铲球、躲闪、假动作、踢球、接球和鱼跃扑球等身体技能,并确保环境难度始终适合 AI 提升。结合此前 Dota 2 的自博弈结果,OpenAI 表示对自博弈将成为未来强大 AI 系统核心部分的信心在增加。
推荐理由:原文把 Dota 2 与足球自博弈结果并列,说明自博弈可迁移到不同环境并自动匹配难度。
OpenAI 发布了两个新的 OpenAI Baselines 实现:ACKTR 和 A2C。A2C 是 A3C 的同步、确定性变体,性能与 A3C 相当;ACKTR 是比 TRPO 和 A2C 更样本高效的强化学习算法,每次更新所需计算量仅比 A2C 略多。
OpenAI 表示其 Dota 2 结果表明,在算力充足时自博弈能把机器学习系统从远低于人类水平推到超人水平。系统在一个月内从勉强匹配高分玩家进步到击败顶尖职业选手,并在此后持续提升;作者指出监督学习受限于训练数据质量,而自博弈系统中可用数据会随智能体变强而自动改善。
推荐理由:原文点明自博弈让训练数据随智能体变强而自动变好,解释了为何系统能在一个月内快速超越职业选手。
OpenAI 宣布其开发的机器人在标准赛事规则下的 Dota 2 1v1 对战中击败了世界顶尖职业选手。该机器人完全通过自对弈从零学会游戏,不使用模仿学习或树搜索,OpenAI 称这是迈向在复杂真实人类场景中完成明确目标的 AI 系统的一步。
OpenAI 开源了 RL-Teacher,一个通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的界面实现。该技术是迈向安全 AI 系统的一步,也适用于奖励难以明确指定的强化学习问题。
OpenAI 发布新的强化学习算法 Proximal Policy Optimization (PPO),其表现与当前最先进方法相当或更好,同时实现和调参更简单。PPO 因易用性和良好表现已成为 OpenAI 内部默认的强化学习算法。
OpenAI 制造出能在不同尺度和视角下可靠欺骗神经网络分类器的对抗样本图像,直接挑战了上周"自动驾驶汽车因从多尺度、多角度、多视角采集图像而难以被恶意欺骗"的说法。
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库,源自其过去一年的机器人研究。该库面向机器人仿真场景,以 Python 库形式开放获取。
OpenAI 与 DeepMind 安全团队合作开发了一种算法,通过告诉系统两种候选行为中哪一种更好,来推断人类真正想要的目标,以减少人类手写目标函数的需求,避免因代理目标不准确或复杂目标出错而导致危险行为。
OpenAI 指出,多智能体竞争环境是通往 AGI 的垫脚石,具备两大特性:环境难度随竞争者水平变化形成天然课程,且不存在稳定均衡,持续对智能体施加变强压力。这类环境与传统环境差异很大,仍需大量研究。
OpenAI 开源了内部强化学习算法复现项目 OpenAI Baselines,首批发布 DQN 及其三个变体,性能与已发表结果持平。OpenAI 表示将在未来几个月陆续发布更多算法。
OpenAI 发布开源机器人仿真软件 Roboschool,已与 OpenAI Gym 集成。
OpenAI 表示其开发了一个无监督系统,尽管训练目标仅为预测 Amazon 评论文本的下一个字符,却学到了优秀的情感表征。
OpenAI 发现进化策略(ES)这一已知数十年的优化技术,在 Atari/MuJoCo 等现代强化学习基准上能匹敌标准强化学习(RL)技术的表现,同时克服了 RL 的诸多不便。
OpenAI 发布新研究,展示 AI 智能体在协作中自行发展出一套语言进行交流。
OpenAI 团队现已达到 45 人,成员共同推进 AI 能力前沿,工作涵盖验证新颖想法、创建新软件系统以及在机器人上部署机器学习。
OpenAI 探讨了强化学习算法一种出人意料的失败模式:奖励函数设定错误(misspecify your reward function)。文章指出强化学习算法可能以令人惊讶、反直觉的方式失效,本文聚焦其中一种因奖励函数设定不当导致的失败模式。