Hugging Face 发布开源库 Accelerate，五行代码让 PyTorch 训练脚本支持分布式与混合精度
Hugging Face 发布开源库 Accelerate，让 PyTorch 用户在保留自定义训练循环的前提下，只需向标准脚本加入五行代码即可在多 GPU、多节点、TPU 等分布式环境以及混合精度下运行。
#数据/训练
Hugging Face BlogAI 评分5555
Hugging Face BlogAI 评分3838 分布式训练：用 🤗 Transformers 和 Amazon SageMaker 对 BART/T5 做摘要任务微调
Hugging Face 与 Amazon SageMaker 合作推出优化的 Deep Learning Containers，通过 SageMaker Python SDK 中的 HuggingFace estimator 可用一行代码启动训练。
Hugging Face BlogAI 评分4949 Hugging Face：构建神经网络前的几个简单思考
Hugging Face 博客给出构建与调试神经网络的实用建议：先放下机器学习、专注数据本身，再从最简单的 baseline（如基于 word2vec 或 fastText 的逻辑回归）起步建立参照。实现完成后应先用小批量样本（如 16 条）过拟合到 0-loss 来验证代码正确性，避免把 bug 误判为模型能力不足。这些经验源自 NLP 研究，也适用于其他机器学习领域。
Hugging Face BlogAI 评分3838 用 Ray 加速 Hugging Face Transformers 的 RAG 分布式微调
Hugging Face Transformers 的 RAG 模型引入 Ray 实现分布式文档检索，单次检索调用较 torch.distributed 提速 2x。
Hugging Face BlogAI 评分3838 Hugging Face Transformers 与 Ray Tune 集成实现超参数搜索
Hugging Face Transformers 3.1 版本与 Ray Tune 集成，通过 `trainer.hyperparameter_search` 几行代码即可调用 HyperBand、Bayesian Optimization、Population-Based Training 等算法做超参数搜索。
Hugging Face BlogAI 评分3838 Hugging Face 开源 pytorch_block_sparse：让语言模型更小更快
Hugging Face 发布 pytorch_block_sparse 扩展库，基于 NVIDIA CUTLASS 实现块稀疏矩阵乘法，可作为 torch.nn.Linear 的直接替代，让神经网络更小更快。75% 稀疏度下速度约为稠密矩阵的 2 倍，内存占用降至 1/4；当前稀疏实现比 cuBLAS 优化的稠密版本慢约 2 倍，但已比 PyTorch 原生稀疏实现快一个数量级。
OpenAI NewsAI 评分5454 OpenAI 发布 AI 训练效率分析：ImageNet 训练算力需求每 16 个月减半
OpenAI 发布一项分析显示，自 2012 年以来，训练神经网络达到相同 ImageNet 分类性能所需的算力每 16 个月减少一半；达到 AlexNet 水平如今所需算力仅为 2012 年的 1/44，同期摩尔定律只能带来 11 倍成本改善。作者据此指出，在近期投入较高的 AI 任务上，算法进步带来的收益超过了经典硬件效率提升。
Hugging Face BlogAI 评分5656 Hugging Face 教你用 Transformers 和 Tokenizers 从零训练语言模型
Hugging Face 官方博客演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数（6 层、768 hidden size。
OpenAI News精选AI 评分6767 OpenAI 发布神经语言模型缩放定律研究
OpenAI 发布关于神经语言模型缩放定律（Scaling laws for neural language models）的研究，材料抓取失败，仅标题可用，具体内容未提供。
OpenAI NewsAI 评分5555 OpenAI 用人类偏好微调 GPT-2 的研究
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，使其在多项任务上匹配外部标注者的偏好，但这些偏好并不总与 OpenAI 自身一致。摘要任务中，标注者偏好整句照抄输入（OpenAI 只要求他们保证准确性），模型因此学会了复制；该任务耗费 60k 人类标注，而多种风格续写等简单任务只需 5k。
OpenAI NewsAI 评分4444 OpenAI：AI 训练如何扩展
OpenAI 发现梯度噪声尺度这一统计指标可预测神经网络训练在多种任务上的并行化程度。由于复杂任务的梯度噪声更大，未来增大批量大小可能更有用，从而消除 AI 系统进一步增长的一个潜在限制。这些结果表明神经网络训练不必被视为神秘艺术，而可以被严格化和系统化。
OpenAI News精选AI 评分6666 OpenAI 用无监督预训练在语言任务上取得 SOTA 结果
OpenAI 宣布用一个可扩展、任务无关的系统在多种语言任务上取得 state-of-the-art 结果，并同步开源该系统。其方法结合了 transformer 与无监督预训练两个已有思路，结果表明监督学习方法搭配无监督预训练效果很好，作者希望这一结果能推动在更大、更多样数据集上开展相关研究。
推荐理由：原文点明了方法组合与可迁移结论，读者可据此理解监督学习配无监督预训练这一思路的价值。
OpenAI News精选AI 评分6161 OpenAI 分析：2012年以来最大AI训练算力呈指数增长
OpenAI 发布分析显示，自2012年以来最大规模AI训练所用算力以3.4个月翻倍的速度指数增长，同期累计增长超过300,000倍，而摩尔定律的翻倍周期为2年、同样条件下仅对应7倍增长。文章指出算力提升是AI进步的关键组成部分，若这一趋势延续，需要为远超当前能力的系统做好准备。
推荐理由：给出了算力增长的量化趋势和与摩尔定律的对比，读者可据此理解AI能力扩张的速度背景。
OpenAI NewsAI 评分4545 OpenAI 发布实验性元学习方法 Evolved Policy Gradients
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数实现新任务上的快速训练。用 EPG 训练的智能体在测试时能完成训练范围之外的基础任务，例如导航到与训练时放置位置不同一侧的物体。
OpenAI News精选AI 评分6060 OpenAI 解释 Dota 2 系统靠自博弈超越职业选手
OpenAI 表示其 Dota 2 结果表明，在算力充足时自博弈能把机器学习系统从远低于人类水平推到超人水平。系统在一个月内从勉强匹配高分玩家进步到击败顶尖职业选手，并在此后持续提升；作者指出监督学习受限于训练数据质量，而自博弈系统中可用数据会随智能体变强而自动改善。
推荐理由：原文点明自博弈让训练数据随智能体变强而自动变好，解释了为何系统能在一个月内快速超越职业选手。