Hugging Face 教程：用 Transformers 微调 XLS-R 做低资源语音识别
Hugging Face 官方博客给出用 🤗 Transformers 微调 Wav2Vec2-XLS-R-300M 做低资源 ASR 的完整流程，以 Common Voice 土耳其语约 4h 验证训练数据为例。
#教程/实践
Hugging Face BlogAI 评分5555
Hugging Face BlogAI 评分4747 在现代 CPU 上扩展 BERT 类模型推理 — 第二部分：Intel 软件优化
Hugging Face 与 Intel 合作介绍在 Intel Xeon Ice Lake CPU 上用软件优化 BERT 类模型推理的方法，Ice Lake 相比上一代 Cascade Lake 在多种 NLP 任务上推理最高快 75%。
Hugging Face BlogAI 评分3838 Hugging Face 课程第二部分发布暨社区活动启动
Hugging Face 宣布课程第二部分将于 11 月 15 日发布，并同步举办为期两天的社区活动，涵盖 token 分类、语言建模、翻译、摘要和问答等 NLP 任务及 🤗 Datasets、🤗 Tokenizers 生态工具。
Hugging Face BlogAI 评分3636 用遥感卫星图像与描述微调 CLIP
一个跨 12 个时区的团队在 Hugging Face Flax/JAX Community Week 期间，用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP 模型，使其能用文本查询检索卫星图像。
Hugging Face BlogAI 评分3838 用 Streamlit 在 Hugging Face Spaces 上托管你的模型和数据集
Hugging Face 介绍了如何用 Streamlit 在 Hugging Face Spaces 上托管模型和数据集并部署应用，以复现 "Write with Transformer" 为例，用 text_area、sidebar slider、number_input 等组件接收 GPT-2、XLNet 推理所需的超参数。
Hugging Face BlogAI 评分4444 用 Gradio 在 Hugging Face Spaces 展示你的项目
Gradio 与 Hugging Face Hub 完成集成，只需定义 Interface（模型仓库 ID、描述、示例输入）并调用 .launch()，即可通过 Inference API 用几行代码跑通模型演示。
Hugging Face BlogAI 评分3838 Few-shot learning 实践：GPT-Neo 与 🤗 Accelerated Inference API
Hugging Face 介绍如何用 GPT-Neo 和 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测，该 API 可托管运行 Model Hub 上 10,000+ 模型，相比 Transformers 默认部署最高提速 100x。
Hugging Face BlogAI 评分5050 Hugging Face 教你在 CPU 上扩展 BERT 推理（第一部分）
Hugging Face 发布系列博文第一部分，讲解如何在 CPU 上扩展 BERT 推理，重点覆盖硬件层面的优化。
Hugging Face BlogAI 评分3838 分布式训练：用 🤗 Transformers 和 Amazon SageMaker 对 BART/T5 做摘要任务微调
Hugging Face 与 Amazon SageMaker 合作推出优化的 Deep Learning Containers，通过 SageMaker Python SDK 中的 HuggingFace estimator 可用一行代码启动训练。
Hugging Face BlogAI 评分4141 理解 BigBird 的 Block Sparse Attention
Hugging Face 博客深入讲解了 BigBird 的 block sparse attention 实现原理，说明其如何用滑动窗口、全局 token 和随机 token 三种注意力模式近似 BERT 的全注意力，将序列长度扩展到 4096 且计算成本远低于 BERT。
Hugging Face BlogAI 评分3838 我在 Google Cloud 上部署 transformers 无服务器情感分析 pipeline 的实践
社区成员 Maxence Dominici 分享了将 transformers 情感分析 pipeline 部署为 Google Cloud 无服务器微服务的实践，用于自动判断 Discord 客户评论正负面。
Hugging Face BlogAI 评分4949 在 Hugging Face 中用 🤗 Transformers 微调 Wav2Vec2 进行英文 ASR
Hugging Face 教程详解如何用 🤗 Transformers 微调 Wav2Vec2 预训练模型完成英文 ASR，演示在仅含 5h 训练数据的 Timit 数据集上微调 "base" 尺寸 checkpoint，不使用语言模型、以 CTC 训练并用 WER 评估。
Hugging Face BlogAI 评分3838 Hugging Face Reads, 2021 年 2 月 - 长程 Transformer
Hugging Face 读书会 2021 年 2 月主题聚焦长程注意力，总结了 Longformer、Compressive Transformer、Linformer、Performer 四篇论文的思路。Longformer 用窗口化/全局注意力把内存开销从 n² 降到 wn+gn，可直接替换标准 self-attention 并复用预训练 checkpoint 微调。
Hugging Face BlogAI 评分4949 Hugging Face：构建神经网络前的几个简单思考
Hugging Face 博客给出构建与调试神经网络的实用建议：先放下机器学习、专注数据本身，再从最简单的 baseline（如基于 word2vec 或 fastText 的逻辑回归）起步建立参照。实现完成后应先用小批量样本（如 16 条）过拟合到 0-loss 来验证代码正确性，避免把 bug 误判为模型能力不足。这些经验源自 NLP 研究，也适用于其他机器学习领域。
Hugging Face BlogAI 评分3838 用 Ray 加速 Hugging Face Transformers 的 RAG 分布式微调
Hugging Face Transformers 的 RAG 模型引入 Ray 实现分布式文档检索，单次检索调用较 torch.distributed 提速 2x。
Hugging Face BlogAI 评分4444 Hugging Face 在 Cloud TPU 上用 PyTorch / XLA 训练 Transformer
Hugging Face 与 PyTorch / XLA 集成，让 PyTorch 用户在保持原有 Hugging Face Trainer 接口不变的情况下，在 Cloud TPU 上运行并扩展模型训练。
Hugging Face BlogAI 评分4444 Hugging Face Transformers 提升 TensorFlow 模型速度并部署 TensorFlow Serving 教程
Hugging Face Transformers v4.2.0 将 BERT、RoBERTa、ELECTRA 和 MPNet 的 TensorFlow 模型计算速度提升至比 Google 官方实现快约 10%，且比 4.1.1 版本快一倍。
Hugging Face BlogAI 评分5555 Hugging Face 教你用 ZeRO 通过 DeepSpeed 和 FairScale 更省显存地训练
Hugging Face 博客介绍如何在 transformers v4.2.0 中通过新增的 --sharded_ddp 和 --deepspeed 参数使用 FairScale 与 DeepSpeed 的 ZeRO 功能。
Hugging Face BlogAI 评分3939 Hugging Face 如何为 🤗 API 客户将 Transformer 推理加速 100 倍
Hugging Face 通过两阶段优化将 🤗 Accelerated Inference API 上的 Transformer 推理整体提速 100 倍。
Hugging Face BlogAI 评分4141 如何用预训练语言模型 checkpoint 热启动 encoder-decoder 模型
Hugging Face 介绍如何用 BERT、GPT2 等预训练 checkpoint 热启动 encoder-decoder 模型，以跳过昂贵的预训练过程。
Hugging Face BlogAI 评分5757 Stas Bekman 详解将 fairseq WMT19 翻译系统移植到 transformers 的全过程
Stas Bekman 撰写客座博文，详细记录了如何把 Facebook FAIR 的 fairseq WMT19 翻译系统移植到 transformers，最终产出 FSMT 模型并合入 PR。
Hugging Face BlogAI 评分3838 Hugging Face Transformers 与 Ray Tune 集成实现超参数搜索
Hugging Face Transformers 3.1 版本与 Ray Tune 集成，通过 `trainer.hyperparameter_search` 几行代码即可调用 HyperBand、Bayesian Optimization、Population-Based Training 等算法做超参数搜索。
Hugging Face BlogAI 评分4444 Transformer-based Encoder-Decoder 模型详解
Hugging Face 博客详细讲解了 Transformer-based encoder-decoder 架构如何建模 sequence-to-sequence 问题，聚焦其数学模型与推理用法，并拆解 encoder 和 decoder 两部分，配合大量插图建立理论与 🤗Transformers 实际推理的联系。
Hugging Face BlogAI 评分4545 Reformer：用不到 8GB 内存训练 50 万 token 长序列
Hugging Face 深入解析了 Reformer 模型，它能用不到 8GB 内存一次处理多达 50 万 token，而 bert-base-uncased 只能处理 512 token。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 transformers 实现各类文本解码方法
Hugging Face 官方博客讲解如何用 transformers 库实现不同解码方法，以 GPT2 为例演示 Greedy search、Beam search、Sampling、温度、Top-K 与 Top-p 的代码与输出差异。
Hugging Face BlogAI 评分5656 Hugging Face 教你用 Transformers 和 Tokenizers 从零训练语言模型
Hugging Face 官方博客演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数（6 层、768 hidden size。
OpenAI NewsAI 评分1010 OpenAI Spinning Up 深度强化学习工作坊回顾
OpenAI 于 2 月 2 日举办了首届 Spinning Up Workshop，这是其新教育计划的一部分。
OpenAI NewsAI 评分4141 OpenAI 发布 Spinning Up in Deep RL 深度强化学习教育资源
OpenAI 发布了名为 Spinning Up in Deep RL 的深度强化学习教育资源，面向希望成为熟练实践者的学习者。该资源包含清晰的 RL 代码示例、教育练习、文档和教程。
OpenAI NewsAI 评分4141 用对抗样本攻击机器学习模型
OpenAI 撰文解释对抗样本——攻击者刻意构造的、会让机器学习模型出错的输入，称其如同机器的视觉错觉。文章展示对抗样本在不同媒介中的工作方式，并讨论为何防御此类攻击较为困难。
OpenAI NewsAI 评分1515 OpenAI：深度学习的基础设施
OpenAI 指出深度学习是一门实证科学，团队基础设施的质量是研究进展的乘数。文章认为，如今的开源生态让任何人都能搭建出色的深度学习基础设施。