OpenAI:元学习智能体在模拟机器人摔跤中的应用
OpenAI 展示了在模拟机器人摔跤任务中,元学习智能体能快速击败更强的非元学习智能体,并能适应物理故障。
OpenAI 展示了在模拟机器人摔跤任务中,元学习智能体能快速击败更强的非元学习智能体,并能适应物理故障。
OpenAI 表示其 Dota 2 结果表明,在算力充足时自博弈能把机器学习系统从远低于人类水平推到超人水平。系统在一个月内从勉强匹配高分玩家进步到击败顶尖职业选手,并在此后持续提升;作者指出监督学习受限于训练数据质量,而自博弈系统中可用数据会随智能体变强而自动改善。
推荐理由:原文点明自博弈让训练数据随智能体变强而自动变好,解释了为何系统能在一个月内快速超越职业选手。
OpenAI 发现给强化学习算法的参数加入自适应噪声通常能提升性能。该探索方法实现简单,且极少导致性能下降,值得在各类问题上尝试。
OpenAI 发现进化策略(ES)这一已知数十年的优化技术,在 Atari/MuJoCo 等现代强化学习基准上能匹敌标准强化学习(RL)技术的表现,同时克服了 RL 的诸多不便。
OpenAI 探讨了强化学习算法一种出人意料的失败模式:奖励函数设定错误(misspecify your reward function)。文章指出强化学习算法可能以令人惊讶、反直觉的方式失效,本文聚焦其中一种因奖励函数设定不当导致的失败模式。