Hugging Face 教程：用 transformers 实现各类文本解码方法
Hugging Face 官方博客讲解如何用 transformers 库实现不同解码方法，以 GPT2 为例演示 Greedy search、Beam search、Sampling、温度、Top-K 与 Top-p 的代码与输出差异。
#推理
Hugging Face BlogAI 评分5555
OpenAI NewsAI 评分4444 Deep double descent：模型性能随规模先降后升的现象
OpenAI 研究发现，CNN、ResNet 和 transformer 中存在 double descent 现象：随着模型规模、数据量或训练时间增加，性能先提升、再变差、随后再次提升。该效应通常可通过细致的正则化规避，但其成因尚未被完全理解，OpenAI 认为进一步研究这一现象是重要的研究方向。
OpenAI NewsAI 评分5858 OpenAI 发布 Sparse Transformer：序列预测长度提升至30倍
OpenAI 发布 Sparse Transformer，这是一种深度神经网络，在文本、图像和声音的序列下一 token 预测上刷新纪录。它通过对注意力机制做算法改进，能从比此前可能长 30 倍的序列中提取模式。
OpenAI NewsAI 评分4444 OpenAI 用基于预测的奖励实现强化学习探索
OpenAI 开发了 Random Network Distillation (RND)，一种基于预测、通过好奇心驱动强化学习智能体探索环境的方法，首次在 Montezuma's Revenge 上超过人类平均水平。
OpenAI NewsAI 评分4545 OpenAI 发布实验性元学习方法 Evolved Policy Gradients
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数实现新任务上的快速训练。用 EPG 训练的智能体在测试时能完成训练范围之外的基础任务，例如导航到与训练时放置位置不同一侧的物体。
OpenAI NewsAI 评分3737 OpenAI 发布可扩展的元学习算法 Reptile
OpenAI 开发了名为 Reptile 的可扩展元学习算法，通过反复采样任务、执行随机梯度下降并将初始参数向该任务学到的最终参数更新来工作。Reptile 是 Shortest Descent 算法在元学习场景下的应用，数学上与 first-order MAML 相似，只需对 SGD 或 Adam 等优化器进行黑盒调用，计算效率与性能相当。
OpenAI NewsAI 评分2525 OpenAI：Learning a hierarchy（分层强化学习算法）
OpenAI 开发了一种分层强化学习算法，能学习对多种任务有用的高层动作，快速解决需要数千个时间步的任务。该算法应用于一组导航问题时，发现了向不同方向行走和爬行的高层动作，使智能体能快速掌握新的导航任务。
OpenAI NewsAI 评分2323 OpenAI：元学习智能体在模拟机器人摔跤中的应用
OpenAI 展示了在模拟机器人摔跤任务中，元学习智能体能快速击败更强的非元学习智能体，并能适应物理故障。
OpenAI News精选AI 评分6060 OpenAI 解释 Dota 2 系统靠自博弈超越职业选手
OpenAI 表示其 Dota 2 结果表明，在算力充足时自博弈能把机器学习系统从远低于人类水平推到超人水平。系统在一个月内从勉强匹配高分玩家进步到击败顶尖职业选手，并在此后持续提升；作者指出监督学习受限于训练数据质量，而自博弈系统中可用数据会随智能体变强而自动改善。
推荐理由：原文点明自博弈让训练数据随智能体变强而自动变好，解释了为何系统能在一个月内快速超越职业选手。
OpenAI NewsAI 评分2727 OpenAI：用参数噪声改进强化学习探索
OpenAI 发现给强化学习算法的参数加入自适应噪声通常能提升性能。该探索方法实现简单，且极少导致性能下降，值得在各类问题上尝试。
OpenAI NewsAI 评分4444 OpenAI：进化策略作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一已知数十年的优化技术，在 Atari/MuJoCo 等现代强化学习基准上能匹敌标准强化学习（RL）技术的表现，同时克服了 RL 的诸多不便。
OpenAI NewsAI 评分4141 OpenAI：强化学习中奖励函数设定错误的失败模式
OpenAI 探讨了强化学习算法一种出人意料的失败模式：奖励函数设定错误（misspecify your reward function）。文章指出强化学习算法可能以令人惊讶、反直觉的方式失效，本文聚焦其中一种因奖励函数设定不当导致的失败模式。