OpenAI 发布 774M 参数 GPT-2 模型并开源法律协议
OpenAI 在发布 124M 小模型、分阶段发布 355M 中模型及相关误用与社会效益研究后,正式发布 774M 参数的 GPT-2 语言模型。同时发布一份开源法律协议,方便组织之间发起模型共享合作,并公布技术报告介绍其与 AI 研究社区协调发布规范的经验。
推荐理由:原文交代了分阶段发布路径与配套法律协议,读者可了解其模型共享合作的落地方式。
OpenAI 在发布 124M 小模型、分阶段发布 355M 中模型及相关误用与社会效益研究后,正式发布 774M 参数的 GPT-2 语言模型。同时发布一份开源法律协议,方便组织之间发起模型共享合作,并公布技术报告介绍其与 AI 研究社区协调发布规范的经验。
推荐理由:原文交代了分阶段发布路径与配套法律协议,读者可了解其模型共享合作的落地方式。
OpenAI 发布 MuseNet,一个可生成 4 分钟、包含 10 种乐器并融合从 country 到 Mozart 到 the Beatles 等不同风格的深度神经网络。
OpenAI 发布 Sparse Transformer,这是一种深度神经网络,在文本、图像和声音的序列下一 token 预测上刷新纪录。它通过对注意力机制做算法改进,能从比此前可能长 30 倍的序列中提取模式。
OpenAI Five 在本周末的 Finals 中连胜两局,击败 Dota 2 世界冠军战队 OG,成为首个在电竞项目中战胜世界冠军的 AI。原文指出,OpenAI Five 与 DeepMind 的 AlphaStar 此前都曾在私下击败过顶尖职业选手但输掉了现场直播的比赛,因此这也是 AI 首次在直播中战胜电竞职业选手。
推荐理由:原文点明这是 AI 首次在直播中战胜电竞职业选手,提供了与 AlphaStar 此前战绩的对照背景。
OpenAI 将于 4 月 13 日 11:30am PT 举办 OpenAI Five 的最后一场现场比赛。这是 OpenAI Five 系列的收官赛事。
OpenAI 在能量模型(EBM)的稳定与可扩展训练上取得进展,生成样本的质量和泛化能力优于现有模型。EBM 生成过程会投入更多算力持续优化答案,在低温下可生成与 GAN 竞争的样本,同时具备基于似然模型的模式覆盖保证。OpenAI 希望这些发现能推动对这一模型类别的进一步研究。
OpenAI 宣布训练出一个大规模无监督语言模型,能生成连贯段落,在多个语言模型基准上取得 state-of-the-art 表现,并在未经任务特定训练的情况下完成初步的阅读理解、机器翻译、问答和摘要任务。
OpenAI 开发了一个能量模型(energy-based model),仅用 5 个示例即可快速学会识别并生成 near、above、between、closest、furthest 等以 2d 点集表达的概念。该模型还实现了跨领域迁移,能将在 2d 粒子环境中习得的概念用于解决 3 维物理机器人任务。
OpenAI 开发了 Random Network Distillation (RND),一种基于预测、通过好奇心驱动强化学习智能体探索环境的方法,首次在 Montezuma's Revenge 上超过人类平均水平。
OpenAI 提出一种名为迭代放大(iterated amplification)的 AI 安全技术,通过把任务分解为更简单的子任务来指定超越人类规模的复杂行为与目标,而非提供标注数据或奖励函数。该想法仍处极早期,目前仅在简单的玩具算法领域完成实验,但 OpenAI 认为它可能成为一种可扩展的 AI 安全路径,因此决定先以初步状态公开。
OpenAI Five 在温哥华 The International 2018 上与顶尖 Dota 2 选手对战两场均告负,但两场比赛的前 20–35 分钟都保持着良好的获胜机会。
OpenAI 推出可逆生成模型 Glow,采用可逆 1x1 卷积,简化了此前可逆生成模型的架构。Glow 能生成逼真的高分辨率图像、支持高效采样,并能发现可用于操纵数据属性的特征。OpenAI 同时开源了模型代码并上线在线可视化工具供人探索。
OpenAI 训练的智能体仅凭一次人类演示就在 Montezuma's Revenge 中取得 74,500 分的高分,超过此前任何已发表结果。该算法让智能体从演示中精心挑选的状态开始玩游戏序列,并通过 PPO 优化游戏分数进行学习,PPO 正是支撑 OpenAI Five 的强化学习算法。
OpenAI 发布实验性元学习方法 Evolved Policy Gradients(EPG),通过进化学习智能体的损失函数实现新任务上的快速训练。用 EPG 训练的智能体在测试时能完成训练范围之外的基础任务,例如导航到与训练时放置位置不同一侧的物体。
OpenAI 开发了名为 Reptile 的可扩展元学习算法,通过反复采样任务、执行随机梯度下降并将初始参数向该任务学到的最终参数更新来工作。Reptile 是 Shortest Descent 算法在元学习场景下的应用,数学上与 first-order MAML 相似,只需对 SGD 或 Adam 等优化器进行黑盒调用,计算效率与性能相当。
OpenAI 提出一种让 AI 互相教学的方法,所选示例同时对人类可解释,会自动挑选信息量最大的例子来教授某个概念(如描述“狗”概念的最佳图片)。实验发现该方法在教 AI 方面有效。
OpenAI 构建了一套系统,通过让神经网络判断一个词是否属于约 100 个自动发现的“类型”(非互斥类别),来自动确定该词所指的对象,从而实现词义消歧(entity disambiguation)。
OpenAI 开发了一种分层强化学习算法,能学习对多种任务有用的高层动作,快速解决需要数千个时间步的任务。该算法应用于一组导航问题时,发现了向不同方向行走和爬行的高层动作,使智能体能快速掌握新的导航任务。
OpenAI 发布 Learning with Opponent-Learning Awareness(LOLA)算法,该算法在训练中考虑其他智能体也在学习的事实,能在迭代囚徒困境中发现自利但协作的策略,如以牙还牙(tit-for-tat)。LOLA 是让智能体学会建模其他智能体心智的一小步。
OpenAI 宣布其开发的机器人在标准赛事规则下的 Dota 2 1v1 对战中击败了世界顶尖职业选手。该机器人完全通过自对弈从零学会游戏,不使用模仿学习或树搜索,OpenAI 称这是迈向在复杂真实人类场景中完成明确目标的 AI 系统的一步。
OpenAI 发现给强化学习算法的参数加入自适应噪声通常能提升性能。该探索方法实现简单,且极少导致性能下降,值得在各类问题上尝试。
OpenAI 发布新的强化学习算法 Proximal Policy Optimization (PPO),其表现与当前最先进方法相当或更好,同时实现和调参更简单。PPO 因易用性和良好表现已成为 OpenAI 内部默认的强化学习算法。
OpenAI 制造出能在不同尺度和视角下可靠欺骗神经网络分类器的对抗样本图像,直接挑战了上周"自动驾驶汽车因从多尺度、多角度、多视角采集图像而难以被恶意欺骗"的说法。
OpenAI 发现进化策略(ES)这一已知数十年的优化技术,在 Atari/MuJoCo 等现代强化学习基准上能匹敌标准强化学习(RL)技术的表现,同时克服了 RL 的诸多不便。
OpenAI 发布文章介绍四个围绕生成式模型的项目,生成式模型是机器学习中无监督学习技术的一个分支。文章同时讲解生成式模型是什么、为何重要以及未来可能的发展方向。