OpenAI 发布 Requests for Research 2.0：七个未解决的研究问题
OpenAI 发布 Requests for Research 2.0，公开其研究过程中出现的七个尚未解决的问题。这批问题来自 OpenAI 自身研究实践，面向研究社区征集解法。
#OpenAI
OpenAI NewsAI 评分4545
OpenAI News精选AI 评分6161 OpenAI 发现自博弈让 AI 自主学会体育动作技能
OpenAI 表示自博弈让模拟 AI 无需专门设计环境即可自行发现铲球、躲闪、假动作、踢球、接球和鱼跃扑球等身体技能，并确保环境难度始终适合 AI 提升。结合此前 Dota 2 的自博弈结果，OpenAI 表示对自博弈将成为未来强大 AI 系统核心部分的信心在增加。
推荐理由：原文把 Dota 2 与足球自博弈结果并列，说明自博弈可迁移到不同环境并自动匹配难度。
OpenAI NewsAI 评分4040 OpenAI Baselines 新增 ACKTR 与 A2C 实现
OpenAI 发布了两个新的 OpenAI Baselines 实现：ACKTR 和 A2C。A2C 是 A3C 的同步、确定性变体，性能与 A3C 相当；ACKTR 是比 TRPO 和 A2C 更样本高效的强化学习算法，每次更新所需计算量仅比 A2C 略多。
OpenAI News精选AI 评分6060 OpenAI 解释 Dota 2 系统靠自博弈超越职业选手
OpenAI 表示其 Dota 2 结果表明，在算力充足时自博弈能把机器学习系统从远低于人类水平推到超人水平。系统在一个月内从勉强匹配高分玩家进步到击败顶尖职业选手，并在此后持续提升；作者指出监督学习受限于训练数据质量，而自博弈系统中可用数据会随智能体变强而自动改善。
推荐理由：原文点明自博弈让训练数据随智能体变强而自动变好，解释了为何系统能在一个月内快速超越职业选手。
OpenAI News精选AI 评分7070 OpenAI 发布能击败 Dota 2 顶尖职业选手的 1v1 自对弈机器人
OpenAI 宣布其开发的机器人在标准赛事规则下的 Dota 2 1v1 对战中击败了世界顶尖职业选手。该机器人完全通过自对弈从零学会游戏，不使用模仿学习或树搜索，OpenAI 称这是迈向在复杂真实人类场景中完成明确目标的 AI 系统的一步。
OpenAI NewsAI 评分3636 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，一个通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的界面实现。该技术是迈向安全 AI 系统的一步，也适用于奖励难以明确指定的强化学习问题。
OpenAI NewsAI 评分5555 OpenAI 发布强化学习算法 Proximal Policy Optimization (PPO)
OpenAI 发布新的强化学习算法 Proximal Policy Optimization (PPO)，其表现与当前最先进方法相当或更好，同时实现和调参更简单。PPO 因易用性和良好表现已成为 OpenAI 内部默认的强化学习算法。
OpenAI NewsAI 评分4545 OpenAI：可从多尺度多视角欺骗神经网络分类器的对抗样本
OpenAI 制造出能在不同尺度和视角下可靠欺骗神经网络分类器的对抗样本图像，直接挑战了上周"自动驾驶汽车因从多尺度、多角度、多视角采集图像而难以被恶意欺骗"的说法。
OpenAI NewsAI 评分4545 OpenAI 开源基于 MuJoCo 的高性能机器人仿真 Python 库
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库，源自其过去一年的机器人研究。该库面向机器人仿真场景，以 Python 库形式开放获取。
OpenAI NewsAI 评分5555 OpenAI 与 DeepMind 合作提出从人类偏好中学习的算法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过告诉系统两种候选行为中哪一种更好，来推断人类真正想要的目标，以减少人类手写目标函数的需求，避免因代理目标不准确或复杂目标出错而导致危险行为。
OpenAI NewsAI 评分4141 OpenAI：学习合作、竞争与沟通
OpenAI 指出，多智能体竞争环境是通往 AGI 的垫脚石，具备两大特性：环境难度随竞争者水平变化形成天然课程，且不存在稳定均衡，持续对智能体施加变强压力。这类环境与传统环境差异很大，仍需大量研究。
OpenAI NewsAI 评分4545 OpenAI 开源 OpenAI Baselines：DQN 及三个变体
OpenAI 开源了内部强化学习算法复现项目 OpenAI Baselines，首批发布 DQN 及其三个变体，性能与已发表结果持平。OpenAI 表示将在未来几个月陆续发布更多算法。
OpenAI NewsAI 评分4545 OpenAI 开源机器人仿真软件 Roboschool
OpenAI 发布开源机器人仿真软件 Roboschool，已与 OpenAI Gym 集成。
OpenAI NewsAI 评分5858 OpenAI 发现无监督模型可学到情感表征
OpenAI 表示其开发了一个无监督系统，尽管训练目标仅为预测 Amazon 评论文本的下一个字符，却学到了优秀的情感表征。
OpenAI NewsAI 评分4444 OpenAI：进化策略作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一已知数十年的优化技术，在 Atari/MuJoCo 等现代强化学习基准上能匹敌标准强化学习（RL）技术的表现，同时克服了 RL 的诸多不便。
OpenAI NewsAI 评分4545 OpenAI 研究：智能体自创语言
OpenAI 发布新研究，展示 AI 智能体在协作中自行发展出一套语言进行交流。
OpenAI NewsAI 评分88 OpenAI 团队更新：团队规模达 45 人
OpenAI 团队现已达到 45 人，成员共同推进 AI 能力前沿，工作涵盖验证新颖想法、创建新软件系统以及在机器人上部署机器学习。
OpenAI NewsAI 评分4141 OpenAI：强化学习中奖励函数设定错误的失败模式
OpenAI 探讨了强化学习算法一种出人意料的失败模式：奖励函数设定错误（misspecify your reward function）。文章指出强化学习算法可能以令人惊讶、反直觉的方式失效，本文聚焦其中一种因奖励函数设定不当导致的失败模式。
OpenAI NewsAI 评分5050 OpenAI 发布 Universe 平台，用游戏和网站衡量与训练通用智能
OpenAI 发布 Universe，一个用于衡量和训练 AI 通用智能的软件平台，其训练与评测素材覆盖全球的游戏、网站和其他应用程序。
OpenAI NewsAI 评分3131 OpenAI 与 Microsoft 合作在 Azure 上运行大规模实验
OpenAI 宣布与 Microsoft 合作，开始在 Azure 上运行其大部分大规模实验。
OpenAI NewsAI 评分1212 OpenAI 自组织机器学习会议报告
OpenAI 在办公室举办了首届自组织机器学习会议，邀请了超过 150 名 AI 从业者参与。
OpenAI NewsAI 评分55 OpenAI 团队更新：新成员加入
OpenAI 发布团队更新，宣布新招聘了一批员工加入公司，以帮助实现其目标。
OpenAI NewsAI 评分55 OpenAI Special projects
OpenAI 推出 Special projects，聚焦具有实际影响力的科学研究项目。文章指出，有价值的科研工作需要选对问题——不仅要有趣，其解决方案更要真正重要。
OpenAI NewsAI 评分4545 Concrete AI safety problems：OpenAI 与 Google Brain 等合作探讨 AI 安全研究问题
OpenAI 与来自 Berkeley、Stanford 的研究者共同署名，参与了由 Google Brain 研究者主导的论文《Concrete Problems in AI Safety》。该论文探讨了确保现代机器学习系统按预期运行的多个研究问题。
OpenAI NewsAI 评分88 OpenAI 技术目标
OpenAI 表示其使命是构建安全的 AI，并确保 AI 的益处尽可能广泛、均匀地分布。原文仅以一句话概括了这一技术目标，未给出具体模型、参数或评测数据。
OpenAI NewsAI 评分1818 OpenAI：生成式模型
OpenAI 发布文章介绍四个围绕生成式模型的项目，生成式模型是机器学习中无监督学习技术的一个分支。文章同时讲解生成式模型是什么、为何重要以及未来可能的发展方向。
OpenAI NewsAI 评分55 OpenAI 团队更新：欢迎新成员加入
OpenAI 发布团队更新，欢迎最新一批成员加入公司，并表示仍在继续招聘。
OpenAI NewsAI 评分88 OpenAI 欢迎 Pieter 和 Shivon 加入团队
OpenAI 宣布两项团队人事更新，欢迎 Pieter 和 Shivon 加入。原文仅简短提及这两项团队变动，未披露两人的具体职位与职责细节。
OpenAI NewsAI 评分33 OpenAI 新成员加入（Team++）
OpenAI 在过去几个月迎来多位新成员加入，并表示仍在继续招聘。
OpenAI NewsAI 评分5555 OpenAI 宣布成立为非营利 AI 研究公司
OpenAI 宣布成立为一家非营利人工智能研究公司，目标是以最有利于全人类的方式推进数字智能，不受产生财务回报需求的约束。文中表示，由于研究不受财务义务束缚，团队可以更专注于对人类的积极影响。