Hugging Face 发布开源库 Accelerate，五行代码让 PyTorch 训练脚本支持分布式与混合精度
Hugging Face 发布开源库 Accelerate，让 PyTorch 用户在保留自定义训练循环的前提下，只需向标准脚本加入五行代码即可在多 GPU、多节点、TPU 等分布式环境以及混合精度下运行。
#开源生态
Hugging Face BlogAI 评分5555
Hugging Face BlogAI 评分4141 理解 BigBird 的 Block Sparse Attention
Hugging Face 博客深入讲解了 BigBird 的 block sparse attention 实现原理，说明其如何用滑动窗口、全局 token 和随机 token 三种注意力模式近似 BERT 的全注意力，将序列长度扩展到 4096 且计算成本远低于 BERT。
Hugging Face BlogAI 评分5555 Hugging Face 与 Amazon 达成战略合作，推出 Amazon SageMaker 深度学习容器
Hugging Face 宣布与 Amazon 达成战略合作，选择 AWS 作为其首选云提供商，并推出新的 Hugging Face Deep Learning Containers（DLCs），让用户在 Amazon SageMaker 中更轻松地训练 Transformers 模型。
Hugging Face BlogAI 评分4949 在 Hugging Face 中用 🤗 Transformers 微调 Wav2Vec2 进行英文 ASR
Hugging Face 教程详解如何用 🤗 Transformers 微调 Wav2Vec2 预训练模型完成英文 ASR，演示在仅含 5h 训练数据的 Timit 数据集上微调 "base" 尺寸 checkpoint，不使用语言模型、以 CTC 训练并用 WER 评估。
Hugging Face BlogAI 评分4141 如何用预训练语言模型 checkpoint 热启动 encoder-decoder 模型
Hugging Face 介绍如何用 BERT、GPT2 等预训练 checkpoint 热启动 encoder-decoder 模型，以跳过昂贵的预训练过程。
Hugging Face BlogAI 评分5757 Stas Bekman 详解将 fairseq WMT19 翻译系统移植到 transformers 的全过程
Stas Bekman 撰写客座博文，详细记录了如何把 Facebook FAIR 的 fairseq WMT19 翻译系统移植到 transformers，最终产出 FSMT 模型并合入 PR。
Hugging Face BlogAI 评分4444 Transformer-based Encoder-Decoder 模型详解
Hugging Face 博客详细讲解了 Transformer-based encoder-decoder 架构如何建模 sequence-to-sequence 问题，聚焦其数学模型与推理用法，并拆解 encoder 和 decoder 两部分，配合大量插图建立理论与 🤗Transformers 实际推理的联系。
Hugging Face BlogAI 评分4545 Reformer：用不到 8GB 内存训练 50 万 token 长序列
Hugging Face 深入解析了 Reformer 模型，它能用不到 8GB 内存一次处理多达 50 万 token，而 bert-base-uncased 只能处理 512 token。
Hugging Face BlogAI 评分5656 Hugging Face 教你用 Transformers 和 Tokenizers 从零训练语言模型
Hugging Face 官方博客演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数（6 层、768 hidden size。
OpenAI NewsAI 评分4141 OpenAI 统一采用 PyTorch 作为深度学习框架
OpenAI 宣布将其深度学习框架统一标准化为 PyTorch。原文仅给出这一决定，未披露迁移时间表、涉及的模型或具体技术细节。
OpenAI News精选AI 评分7676 OpenAI 发布 774M 参数 GPT-2 模型并开源法律协议
OpenAI 在发布 124M 小模型、分阶段发布 355M 中模型及相关误用与社会效益研究后，正式发布 774M 参数的 GPT-2 语言模型。同时发布一份开源法律协议，方便组织之间发起模型共享合作，并公布技术报告介绍其与 AI 研究社区协调发布规范的经验。
推荐理由：原文交代了分阶段发布路径与配套法律协议，读者可了解其模型共享合作的落地方式。
OpenAI NewsAI 评分2020 OpenAI Scholars 项目
OpenAI 推出 OpenAI Scholars 项目，向来自代表性不足群体的个人提供 6–10 份津贴和导师指导，支持其全职学习深度学习 3 个月并开源一个项目。
OpenAI NewsAI 评分4444 OpenAI 开源 block-sparse GPU kernels
OpenAI 发布针对 block-sparse 权重神经网络的高性能 GPU kernels，根据所选稀疏度，速度可比 cuBLAS 或 cuSPARSE 快 orders of magnitude。OpenAI 已用其在文本情感分析以及文本和图像生成建模上取得 state-of-the-art 结果。
OpenAI NewsAI 评分2727 OpenAI：用参数噪声改进强化学习探索
OpenAI 发现给强化学习算法的参数加入自适应噪声通常能提升性能。该探索方法实现简单，且极少导致性能下降，值得在各类问题上尝试。