OpenAI 用无监督预训练在语言任务上取得 SOTA 结果
OpenAI 宣布用一个可扩展、任务无关的系统在多种语言任务上取得 state-of-the-art 结果，并同步开源该系统。其方法结合了 transformer 与无监督预训练两个已有思路，结果表明监督学习方法搭配无监督预训练效果很好，作者希望这一结果能推动在更大、更多样数据集上开展相关研究。
推荐理由：原文点明了方法组合与可迁移结论，读者可据此理解监督学习配无监督预训练这一思路的价值。
数据与训练
全部主题训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
最新精选
第 61–63 条 · 共 63 条OpenAI News精选AI 评分6666
OpenAI News精选AI 评分6161 OpenAI 分析：2012年以来最大AI训练算力呈指数增长
OpenAI 发布分析显示，自2012年以来最大规模AI训练所用算力以3.4个月翻倍的速度指数增长，同期累计增长超过300,000倍，而摩尔定律的翻倍周期为2年、同样条件下仅对应7倍增长。文章指出算力提升是AI进步的关键组成部分，若这一趋势延续，需要为远超当前能力的系统做好准备。
推荐理由：给出了算力增长的量化趋势和与摩尔定律的对比，读者可据此理解AI能力扩张的速度背景。
OpenAI News精选AI 评分6060 OpenAI 解释 Dota 2 系统靠自博弈超越职业选手
OpenAI 表示其 Dota 2 结果表明，在算力充足时自博弈能把机器学习系统从远低于人类水平推到超人水平。系统在一个月内从勉强匹配高分玩家进步到击败顶尖职业选手，并在此后持续提升；作者指出监督学习受限于训练数据质量，而自博弈系统中可用数据会随智能体变强而自动改善。
推荐理由：原文点明自博弈让训练数据随智能体变强而自动变好，解释了为何系统能在一个月内快速超越职业选手。