Hugging Face 教程：用 Accelerate 调用 PyTorch FSDP 训练大模型
Hugging Face 官方博客介绍如何通过 Accelerate 库在不改代码的情况下启用 PyTorch FullyShardedDataParallel (FSDP) 训练大模型，并给出 GPT-2 Large (762M) 与 GPT-2 XL (1.5B) 的实测对比。
#教程/实践
Hugging Face BlogAI 评分5454
Hugging Face BlogAI 评分2323 用 Kili 和 HuggingFace AutoTrain 构建评论分类与情感分析流水线
文章演示如何结合 Kili 数据标注平台与 HuggingFace AutoTrain，对 Google Play 上约 40130 条 Medium 评论构建主动学习文本分类流水线，定义 Subscription、Content、Interface、User Experience 四个类别并进行标注。
Hugging Face BlogAI 评分3838 在 Habana Gaudi 上使用 Transformers 入门指南
Hugging Face 与 Habana Labs 合作，可在 AWS EC2 DL1 实例（8 颗 Habana Gaudi 处理器）上用 Optimum Habana 微调 BERT 模型。在 GLUE MRPC 任务上训练 3 个 epoch 耗时 2 分 12 秒，F1 达 0.9181。Spot 实例将成本从 $13.11/小时降至 $3.93/小时，节省 70%。
Hugging Face BlogAI 评分3939 用 Hugging Face 生态机器学习工具增强客户服务
Hugging Face 发布教程，演示如何用其生态的机器学习工具构建客服消息情感分类系统，自动筛选出不满客户的反馈优先回复。文章将用例定义为五级情感的文本分类任务，并对比 Glue、Amazon polarity、Tweet eval、Yelp review full、Amazon reviews multi 等数据集，最终推荐 Amazon reviews multi 作为训练数据。
Hugging Face BlogAI 评分4444 Hugging Face Transformers 为何故意不遵循 DRY 原则：单模型文件策略解析
Hugging Face Transformers 库有意不遵循 DRY 原则，转而采用“单模型文件策略”，即模型 forward 所需的全部代码只放在一个 modeling 文件中。该设计便于开源社区贡献者独立修复 bug 和提交新模型，也利于读者理解与修改代码。文章还指出机器学习领域演进极快，难以定义通用的标准组件，而模型发布后通常保持静态。
Hugging Face BlogAI 评分4444 用自定义数据集微调 SegFormer 语义分割模型
这篇 Hugging Face 教程演示如何用自定义数据集微调 SegFormer 语义分割模型，目标是让披萨配送机器人识别人行道与障碍物。
Hugging Face BlogAI 评分3838 用 🤗 datasets 构建图像搜索应用
Hugging Face 教程演示如何用 🤗 datasets 结合 sentence_transformers 和 faiss 构建图像搜索应用，使用 British Library 数字化书籍中提取的 10000 张 "embellishments" 图像数据集。
Hugging Face BlogAI 评分4141 用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
Hugging Face 发布端到端教程，演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face BlogAI 评分4444 🤗 Transformers 中用约束束搜索引导文本生成
Hugging Face 在 🤗 Transformers 中推出 constrained beam search（约束束搜索）功能，通过 `model.generate()` 的 `force_words_ids` 参数在生成阶段强制输出包含指定词或词组，无需事后过滤。
Hugging Face BlogAI 评分2626 BERT 101：详解这一 SOTA NLP 模型
BERT 是 Google AI Language 于 2018 年开发的 NLP 模型，可解决 11+ 项常见语言任务，自 2020 年 11 月起帮助 Google 改善几乎所有英文搜索结果。
Hugging Face BlogAI 评分5050 用 🤗 Transformers 微调 ViT 进行图像分类
这篇教程演示如何用 🤗 datasets 加载 beans 数据集，并用 🤗 transformers 微调预训练的 google/vit-base-patch16-224-in21k 模型进行图像分类。流程包括用 ViTImageProcessor 对图像做归一化和 resize 到 224 等预处理，再将像素值送入模型训练。
Hugging Face BlogAI 评分4343 用 Python 入门情感分析：预训练模型调用与自建模型指南
Hugging Face 发布指南，教你用 Python 完成情感分析：从概念、调用预训练模型、自建模型到分析推文。Hugging Face Hub 上有超过 27,000 个模型、215+ 个情感分析模型，用 5 行代码即可调用 pipeline 完成预测，还推荐了 Twitter-roberta-base-sentiment 等微调模型。
Hugging Face BlogAI 评分4545 🤗 Transformers 如何用 Wav2Vec2 处理超长音频的自动语音识别
Hugging Face 介绍了在 🤗 Transformers 中利用 Wav2Vec2 的 CTC 架构特性，实现超长文件乃至实时流式自动语音识别（ASR）的方法。
Hugging Face BlogAI 评分3838 Hugging Face Hub 搜索功能升级：huggingface_hub 新增 ModelFilter 与 ModelSearchArguments
huggingface_hub 新增 ModelSearchArguments 和 ModelFilter 两个类，让用户在 Jupyter 或 Python 环境中无需离开 IDE 即可搜索 Hub 上的模型与数据集。
Hugging Face BlogAI 评分5656 Hugging Face 教程：用 n-gram 语言模型提升 Wav2Vec2 语音识别效果
Hugging Face 官方博客给出分步教程，用 🤗 Transformers 新集成的 pyctcdecode 把 n-gram 语言模型与已微调的 Wav2Vec2 结合，改善语音转写拼写错误。
Hugging Face BlogAI 评分4444 用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 推理
Hugging Face 介绍如何用 Hugging Face Inference Toolkit 和 Amazon SageMaker 部署 EleutherAI 的 GPT-J 6B（6 billion 参数开源模型）做实时推理，用普通 NVIDIA T4 GPU 实例（约 500$/m）几行代码即可完成。
Hugging Face BlogAI 评分3636 用 AutoNLP 和 Prodigy 构建主动学习流水线
Hugging Face 介绍了如何用 AutoNLP 和 Prodigy 搭建主动学习流水线：先用 Prodigy 对 BBC News Classification 数据集标注 NER 标签（PERSON、ORG、PRODUCT、LOCATION），再将标注数据转换为 AutoNLP 格式训练模型。
Hugging Face BlogAI 评分5656 Hugging Face 教你从零训练代码生成模型 CodeParrot
Hugging Face 发布教程，讲解如何从零训练用于 Python 代码补全的 GPT-2 模型 CodeParrot。
Hugging Face BlogAI 评分3838 Hugging Face Transformers 在 Graphcore IPU 上的 Optimum 入门指南
Hugging Face 与 Graphcore 合作推出首个 IPU 优化模型 BERT，开发者可通过开源库 Optimum 在 Graphcore IPU 上加速 Transformer 模型的训练、微调与推理。
Hugging Face BlogAI 评分3838 用 Intel 技术加速 PyTorch 分布式微调
Hugging Face 演示了如何在 Intel Xeon Scalable（Ice Lake 架构）CPU 集群上加速 PyTorch 分布式微调，通过 Intel extension for PyTorch 与 Intel oneAPI Collective Communications Library（oneCCL）优化训练与通信。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 Transformers 微调 XLS-R 做低资源语音识别
Hugging Face 官方博客给出用 🤗 Transformers 微调 Wav2Vec2-XLS-R-300M 做低资源 ASR 的完整流程，以 Common Voice 土耳其语约 4h 验证训练数据为例。
Hugging Face BlogAI 评分4747 在现代 CPU 上扩展 BERT 类模型推理 — 第二部分：Intel 软件优化
Hugging Face 与 Intel 合作介绍在 Intel Xeon Ice Lake CPU 上用软件优化 BERT 类模型推理的方法，Ice Lake 相比上一代 Cascade Lake 在多种 NLP 任务上推理最高快 75%。
Hugging Face BlogAI 评分3838 Hugging Face 课程第二部分发布暨社区活动启动
Hugging Face 宣布课程第二部分将于 11 月 15 日发布，并同步举办为期两天的社区活动，涵盖 token 分类、语言建模、翻译、摘要和问答等 NLP 任务及 🤗 Datasets、🤗 Tokenizers 生态工具。
Hugging Face BlogAI 评分3636 用遥感卫星图像与描述微调 CLIP
一个跨 12 个时区的团队在 Hugging Face Flax/JAX Community Week 期间，用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP 模型，使其能用文本查询检索卫星图像。
Hugging Face BlogAI 评分3838 用 Streamlit 在 Hugging Face Spaces 上托管你的模型和数据集
Hugging Face 介绍了如何用 Streamlit 在 Hugging Face Spaces 上托管模型和数据集并部署应用，以复现 "Write with Transformer" 为例，用 text_area、sidebar slider、number_input 等组件接收 GPT-2、XLNet 推理所需的超参数。
Hugging Face BlogAI 评分4444 用 Gradio 在 Hugging Face Spaces 展示你的项目
Gradio 与 Hugging Face Hub 完成集成，只需定义 Interface（模型仓库 ID、描述、示例输入）并调用 .launch()，即可通过 Inference API 用几行代码跑通模型演示。
Hugging Face BlogAI 评分3838 Few-shot learning 实践：GPT-Neo 与 🤗 Accelerated Inference API
Hugging Face 介绍如何用 GPT-Neo 和 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测，该 API 可托管运行 Model Hub 上 10,000+ 模型，相比 Transformers 默认部署最高提速 100x。
Hugging Face BlogAI 评分5050 Hugging Face 教你在 CPU 上扩展 BERT 推理（第一部分）
Hugging Face 发布系列博文第一部分，讲解如何在 CPU 上扩展 BERT 推理，重点覆盖硬件层面的优化。
Hugging Face BlogAI 评分3838 分布式训练：用 🤗 Transformers 和 Amazon SageMaker 对 BART/T5 做摘要任务微调
Hugging Face 与 Amazon SageMaker 合作推出优化的 Deep Learning Containers，通过 SageMaker Python SDK 中的 HuggingFace estimator 可用一行代码启动训练。
Hugging Face BlogAI 评分4141 理解 BigBird 的 Block Sparse Attention
Hugging Face 博客深入讲解了 BigBird 的 block sparse attention 实现原理，说明其如何用滑动窗口、全局 token 和随机 token 三种注意力模式近似 BERT 的全注意力，将序列长度扩展到 4096 且计算成本远低于 BERT。
Hugging Face BlogAI 评分3838 我在 Google Cloud 上部署 transformers 无服务器情感分析 pipeline 的实践
社区成员 Maxence Dominici 分享了将 transformers 情感分析 pipeline 部署为 Google Cloud 无服务器微服务的实践，用于自动判断 Discord 客户评论正负面。
Hugging Face BlogAI 评分4949 在 Hugging Face 中用 🤗 Transformers 微调 Wav2Vec2 进行英文 ASR
Hugging Face 教程详解如何用 🤗 Transformers 微调 Wav2Vec2 预训练模型完成英文 ASR，演示在仅含 5h 训练数据的 Timit 数据集上微调 "base" 尺寸 checkpoint，不使用语言模型、以 CTC 训练并用 WER 评估。
Hugging Face BlogAI 评分3838 Hugging Face Reads, 2021 年 2 月 - 长程 Transformer
Hugging Face 读书会 2021 年 2 月主题聚焦长程注意力，总结了 Longformer、Compressive Transformer、Linformer、Performer 四篇论文的思路。Longformer 用窗口化/全局注意力把内存开销从 n² 降到 wn+gn，可直接替换标准 self-attention 并复用预训练 checkpoint 微调。
Hugging Face BlogAI 评分4949 Hugging Face：构建神经网络前的几个简单思考
Hugging Face 博客给出构建与调试神经网络的实用建议：先放下机器学习、专注数据本身，再从最简单的 baseline（如基于 word2vec 或 fastText 的逻辑回归）起步建立参照。实现完成后应先用小批量样本（如 16 条）过拟合到 0-loss 来验证代码正确性，避免把 bug 误判为模型能力不足。这些经验源自 NLP 研究，也适用于其他机器学习领域。
Hugging Face BlogAI 评分3838 用 Ray 加速 Hugging Face Transformers 的 RAG 分布式微调
Hugging Face Transformers 的 RAG 模型引入 Ray 实现分布式文档检索，单次检索调用较 torch.distributed 提速 2x。
Hugging Face BlogAI 评分4444 Hugging Face 在 Cloud TPU 上用 PyTorch / XLA 训练 Transformer
Hugging Face 与 PyTorch / XLA 集成，让 PyTorch 用户在保持原有 Hugging Face Trainer 接口不变的情况下，在 Cloud TPU 上运行并扩展模型训练。
Hugging Face BlogAI 评分4444 Hugging Face Transformers 提升 TensorFlow 模型速度并部署 TensorFlow Serving 教程
Hugging Face Transformers v4.2.0 将 BERT、RoBERTa、ELECTRA 和 MPNet 的 TensorFlow 模型计算速度提升至比 Google 官方实现快约 10%，且比 4.1.1 版本快一倍。
Hugging Face BlogAI 评分5555 Hugging Face 教你用 ZeRO 通过 DeepSpeed 和 FairScale 更省显存地训练
Hugging Face 博客介绍如何在 transformers v4.2.0 中通过新增的 --sharded_ddp 和 --deepspeed 参数使用 FairScale 与 DeepSpeed 的 ZeRO 功能。
Hugging Face BlogAI 评分3939 Hugging Face 如何为 🤗 API 客户将 Transformer 推理加速 100 倍
Hugging Face 通过两阶段优化将 🤗 Accelerated Inference API 上的 Transformer 推理整体提速 100 倍。
Hugging Face BlogAI 评分4141 如何用预训练语言模型 checkpoint 热启动 encoder-decoder 模型
Hugging Face 介绍如何用 BERT、GPT2 等预训练 checkpoint 热启动 encoder-decoder 模型，以跳过昂贵的预训练过程。