OpenAI：AI 训练如何扩展
OpenAI 发现梯度噪声尺度这一统计指标可预测神经网络训练在多种任务上的并行化程度。由于复杂任务的梯度噪声更大，未来增大批量大小可能更有用，从而消除 AI 系统进一步增长的一个潜在限制。这些结果表明神经网络训练不必被视为神秘艺术，而可以被严格化和系统化。
#论文/研究
OpenAI NewsAI 评分4444
OpenAI NewsAI 评分4141 OpenAI 用能量函数学习概念
OpenAI 开发了一个能量模型（energy-based model），仅用 5 个示例即可快速学会识别并生成 near、above、between、closest、furthest 等以 2d 点集表达的概念。该模型还实现了跨领域迁移，能将在 2d 粒子环境中习得的概念用于解决 3 维物理机器人任务。
OpenAI News精选AI 评分6666 OpenAI 用无监督预训练在语言任务上取得 SOTA 结果
OpenAI 宣布用一个可扩展、任务无关的系统在多种语言任务上取得 state-of-the-art 结果，并同步开源该系统。其方法结合了 transformer 与无监督预训练两个已有思路，结果表明监督学习方法搭配无监督预训练效果很好，作者希望这一结果能推动在更大、更多样数据集上开展相关研究。
推荐理由：原文点明了方法组合与可迁移结论，读者可据此理解监督学习配无监督预训练这一思路的价值。
OpenAI News精选AI 评分6161 OpenAI 分析：2012年以来最大AI训练算力呈指数增长
OpenAI 发布分析显示，自2012年以来最大规模AI训练所用算力以3.4个月翻倍的速度指数增长，同期累计增长超过300,000倍，而摩尔定律的翻倍周期为2年、同样条件下仅对应7倍增长。文章指出算力提升是AI进步的关键组成部分，若这一趋势延续，需要为远超当前能力的系统做好准备。
推荐理由：给出了算力增长的量化趋势和与摩尔定律的对比，读者可据此理解AI能力扩张的速度背景。
OpenAI NewsAI 评分4444 OpenAI 提出通过辩论实现 AI 安全的方法
OpenAI 提出一种 AI 安全技术，让 AI 智能体就议题相互辩论，由人类评判胜负，以此训练智能体。
OpenAI NewsAI 评分3737 OpenAI 发布可扩展的元学习算法 Reptile
OpenAI 开发了名为 Reptile 的可扩展元学习算法，通过反复采样任务、执行随机梯度下降并将初始参数向该任务学到的最终参数更新来工作。Reptile 是 Shortest Descent 算法在元学习场景下的应用，数学上与 first-order MAML 相似，只需对 SGD 或 Adam 等优化器进行黑盒调用，计算效率与性能相当。
OpenAI NewsAI 评分4545 OpenAI：为防范 AI 恶意使用做好准备
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
OpenAI NewsAI 评分1818 OpenAI：通过自动发现类型实现词义消歧
OpenAI 构建了一套系统，通过让神经网络判断一个词是否属于约 100 个自动发现的“类型”（非互斥类别），来自动确定该词所指的对象，从而实现词义消歧（entity disambiguation）。
OpenAI NewsAI 评分4545 OpenAI 发布 Requests for Research 2.0：七个未解决的研究问题
OpenAI 发布 Requests for Research 2.0，公开其研究过程中出现的七个尚未解决的问题。这批问题来自 OpenAI 自身研究实践，面向研究社区征集解法。
OpenAI NewsAI 评分2323 OpenAI：元学习智能体在模拟机器人摔跤中的应用
OpenAI 展示了在模拟机器人摔跤任务中，元学习智能体能快速击败更强的非元学习智能体，并能适应物理故障。
OpenAI News精选AI 评分6161 OpenAI 发现自博弈让 AI 自主学会体育动作技能
OpenAI 表示自博弈让模拟 AI 无需专门设计环境即可自行发现铲球、躲闪、假动作、踢球、接球和鱼跃扑球等身体技能，并确保环境难度始终适合 AI 提升。结合此前 Dota 2 的自博弈结果，OpenAI 表示对自博弈将成为未来强大 AI 系统核心部分的信心在增加。
推荐理由：原文把 Dota 2 与足球自博弈结果并列，说明自博弈可迁移到不同环境并自动匹配难度。
OpenAI NewsAI 评分5555 OpenAI 与 DeepMind 合作提出从人类偏好中学习的算法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过告诉系统两种候选行为中哪一种更好，来推断人类真正想要的目标，以减少人类手写目标函数的需求，避免因代理目标不准确或复杂目标出错而导致危险行为。
OpenAI NewsAI 评分5858 OpenAI 发现无监督模型可学到情感表征
OpenAI 表示其开发了一个无监督系统，尽管训练目标仅为预测 Amazon 评论文本的下一个字符，却学到了优秀的情感表征。
OpenAI NewsAI 评分4545 OpenAI 研究：智能体自创语言
OpenAI 发布新研究，展示 AI 智能体在协作中自行发展出一套语言进行交流。
OpenAI NewsAI 评分4141 OpenAI：强化学习中奖励函数设定错误的失败模式
OpenAI 探讨了强化学习算法一种出人意料的失败模式：奖励函数设定错误（misspecify your reward function）。文章指出强化学习算法可能以令人惊讶、反直觉的方式失效，本文聚焦其中一种因奖励函数设定不当导致的失败模式。
OpenAI NewsAI 评分4545 Concrete AI safety problems：OpenAI 与 Google Brain 等合作探讨 AI 安全研究问题
OpenAI 与来自 Berkeley、Stanford 的研究者共同署名，参与了由 Google Brain 研究者主导的论文《Concrete Problems in AI Safety》。该论文探讨了确保现代机器学习系统按预期运行的多个研究问题。