OpenAI 提出迭代放大:用任务分解学习超越人类规模的复杂目标
OpenAI 提出一种名为迭代放大(iterated amplification)的 AI 安全技术,通过把任务分解为更简单的子任务来指定超越人类规模的复杂行为与目标,而非提供标注数据或奖励函数。该想法仍处极早期,目前仅在简单的玩具算法领域完成实验,但 OpenAI 认为它可能成为一种可扩展的 AI 安全路径,因此决定先以初步状态公开。
OpenAI 提出一种名为迭代放大(iterated amplification)的 AI 安全技术,通过把任务分解为更简单的子任务来指定超越人类规模的复杂行为与目标,而非提供标注数据或奖励函数。该想法仍处极早期,目前仅在简单的玩具算法领域完成实验,但 OpenAI 认为它可能成为一种可扩展的 AI 安全路径,因此决定先以初步状态公开。
OpenAI Five 在温哥华 The International 2018 上与顶尖 Dota 2 选手对战两场均告负,但两场比赛的前 20–35 分钟都保持着良好的获胜机会。
OpenAI 推出可逆生成模型 Glow,采用可逆 1x1 卷积,简化了此前可逆生成模型的架构。Glow 能生成逼真的高分辨率图像、支持高效采样,并能发现可用于操纵数据属性的特征。OpenAI 同时开源了模型代码并上线在线可视化工具供人探索。
OpenAI 训练的智能体仅凭一次人类演示就在 Montezuma's Revenge 中取得 74,500 分的高分,超过此前任何已发表结果。该算法让智能体从演示中精心挑选的状态开始玩游戏序列,并通过 PPO 优化游戏分数进行学习,PPO 正是支撑 OpenAI Five 的强化学习算法。
OpenAI 发布实验性元学习方法 Evolved Policy Gradients(EPG),通过进化学习智能体的损失函数实现新任务上的快速训练。用 EPG 训练的智能体在测试时能完成训练范围之外的基础任务,例如导航到与训练时放置位置不同一侧的物体。
OpenAI 开发了名为 Reptile 的可扩展元学习算法,通过反复采样任务、执行随机梯度下降并将初始参数向该任务学到的最终参数更新来工作。Reptile 是 Shortest Descent 算法在元学习场景下的应用,数学上与 first-order MAML 相似,只需对 SGD 或 Adam 等优化器进行黑盒调用,计算效率与性能相当。
OpenAI 提出一种让 AI 互相教学的方法,所选示例同时对人类可解释,会自动挑选信息量最大的例子来教授某个概念(如描述“狗”概念的最佳图片)。实验发现该方法在教 AI 方面有效。
OpenAI 构建了一套系统,通过让神经网络判断一个词是否属于约 100 个自动发现的“类型”(非互斥类别),来自动确定该词所指的对象,从而实现词义消歧(entity disambiguation)。
OpenAI 开发了一种分层强化学习算法,能学习对多种任务有用的高层动作,快速解决需要数千个时间步的任务。该算法应用于一组导航问题时,发现了向不同方向行走和爬行的高层动作,使智能体能快速掌握新的导航任务。
OpenAI 发布 Learning with Opponent-Learning Awareness(LOLA)算法,该算法在训练中考虑其他智能体也在学习的事实,能在迭代囚徒困境中发现自利但协作的策略,如以牙还牙(tit-for-tat)。LOLA 是让智能体学会建模其他智能体心智的一小步。
OpenAI 宣布其开发的机器人在标准赛事规则下的 Dota 2 1v1 对战中击败了世界顶尖职业选手。该机器人完全通过自对弈从零学会游戏,不使用模仿学习或树搜索,OpenAI 称这是迈向在复杂真实人类场景中完成明确目标的 AI 系统的一步。
OpenAI 发现给强化学习算法的参数加入自适应噪声通常能提升性能。该探索方法实现简单,且极少导致性能下降,值得在各类问题上尝试。
OpenAI 发布新的强化学习算法 Proximal Policy Optimization (PPO),其表现与当前最先进方法相当或更好,同时实现和调参更简单。PPO 因易用性和良好表现已成为 OpenAI 内部默认的强化学习算法。
OpenAI 制造出能在不同尺度和视角下可靠欺骗神经网络分类器的对抗样本图像,直接挑战了上周"自动驾驶汽车因从多尺度、多角度、多视角采集图像而难以被恶意欺骗"的说法。
OpenAI 发现进化策略(ES)这一已知数十年的优化技术,在 Atari/MuJoCo 等现代强化学习基准上能匹敌标准强化学习(RL)技术的表现,同时克服了 RL 的诸多不便。
OpenAI 发布文章介绍四个围绕生成式模型的项目,生成式模型是机器学习中无监督学习技术的一个分支。文章同时讲解生成式模型是什么、为何重要以及未来可能的发展方向。