Nyströmformer：用 Nyström 方法将自注意力近似为线性时间与内存复杂度
Nyströmformer 通过 Nyström 方法将标准自注意力的 O(n²) 复杂度降至 O(n)，在多项 NLP 与 CV 任务上保持与标准自注意力相当的性能。
#教程/实践
Hugging Face BlogAI 评分2626
Hugging Face BlogAI 评分4444 用 TensorFlow 和 XLA 加速文本生成
Hugging Face transformers 库的文本生成现已支持用 XLA 编译 TensorFlow，速度最高提升 100x，甚至超过 PyTorch。
Hugging Face BlogAI 评分4141 使用 TF Serving 部署 Hugging Face 中的 TensorFlow 视觉模型
Hugging Face 介绍了如何用 TensorFlow Serving (TF Serving) 本地部署 Transformers 中的 Vision Transformer (ViT) 图像分类模型，将其暴露为 REST 或 gRPC 端点。
Hugging Face BlogAI 评分3838 Hugging Face 深度强化学习课程 Unit 7：Advantage Actor Critic (A2C)
Hugging Face 深度强化学习课程 Unit 7 讲解 Advantage Actor Critic (A2C)，即结合策略基与价值基方法的 Actor-Critic 混合架构，用 Critic 评估动作价值以降低 Reinforce 中蒙特卡洛采样带来的高方差，从而稳定训练。
Hugging Face BlogAI 评分3838 Hugging Face 教你用对抗数据动态训练模型
Hugging Face 以 MNIST 手写数字识别为例，演示如何通过 🤗 Spaces 动态收集对抗数据并迭代训练模型：用户在画布上手写数字骗过模型，flag 后存入数据集并重新训练，循环多轮提升鲁棒性。
Hugging Face BlogAI 评分5656 Hugging Face 解析 BLOOM 176B 模型训练背后的软硬件技术
Hugging Face 官方博客详细解析了 176B 参数多语言模型 BLOOM 的训练技术，硬件为 384 张 A100 80GB GPU，软件栈为 Megatron-DeepSpeed，数据为 59 种语言的 350B tokens，训练耗时约 3.5 个月（约 1M compute hours）。
Hugging Face BlogAI 评分3838 用 Sentence Transformers 和 Gradio 构建歌单生成器
作者用 Sentence Transformers 和 Gradio Blocks 构建了一个歌单生成器，通过语义搜索将文本提示词匹配为歌曲。项目选用 msmarco-MiniLM-L-6-v3 模型，因 512 word pieces 上限将歌词按段落切分后生成嵌入向量，设 top_k=20 可稳定得到至少 9 首不同歌曲，应用托管在 Hugging Face Spaces。
Hugging Face BlogAI 评分3636 如何用代码和无代码方式做 Twitter 情感分析
Hugging Face 发布了一份 Twitter 情感分析入门指南，面向有代码和无代码两类用户。有代码的用户可用 Tweepy 抓取推文，再调用 Inference API 用几行代码完成情感分析并用 Matplotlib 可视化；无代码用户可用 Zapier 结合 Inference API 抓取推文、分析后把结果发送到 Google Sheets。
Hugging Face BlogAI 评分3838 Hugging Face 深度强化学习课程 Unit 5：用 PyTorch 实现 Policy Gradient（Reinforce）
Hugging Face 深度强化学习课程 Unit 5 讲解 Policy-Gradient 方法，并用 PyTorch 从零实现首个策略梯度算法 Reinforce（Monte Carlo Policy Gradient），随后在 CartPole-v1、PixelCopter 和 Pong 上测试其鲁棒性。
Hugging Face BlogAI 评分3434 Hugging Face：如何用 Sentence Transformers 开启你的第一个 ML 项目
Hugging Face 博客以 Sentence Transformers（ST）为例，讲解如何从零开始规划并完成第一个机器学习项目。ST 可将句子、段落和图像转为向量嵌入，通过内置的 util.cos_sim 计算 -1 到 1 的余弦相似度分数，实现语义搜索，其 GitHub 已获近 8,000 stars、超过 3,000 个项目和包依赖它。
Hugging Face BlogAI 评分5151 Hugging Face 教程：用 Accelerate 结合 DeepSpeed ZeRO 加速大模型训练
Hugging Face 官方博客介绍如何用 Accelerate 库调用 DeepSpeed ZeRO 来训练大模型，无需改代码即可通过 accelerate config 启用 ZeRO Stage-2。
Hugging Face BlogAI 评分4949 Hugging Face 嵌入向量入门教程：用 Inference API 构建 FAQ 语义搜索
Hugging Face 发布嵌入向量（embeddings）入门教程，演示如何用开源库 Sentence Transformers 的 "sentence-transformers/all-MiniLM-L6-v2" 模型。
Hugging Face BlogAI 评分3535 用 Hugging Face Optimum 将 Transformers 模型转换为 ONNX 的三种方法
Hugging Face 介绍了将 Transformers 模型转换为 ONNX 的三种方法，以 distilbert-base-uncased-finetuned-sst-2-english 为例。
OpenAI NewsAI 评分1515 训练大型神经网络的技术
OpenAI 指出，大型神经网络是近期 AI 多项进展的核心，但训练它们是一项困难的工程与研究挑战，需要协调 GPU 集群执行单一的同步计算。
Hugging Face BlogAI 评分5858 Hugging Face 博客用 PyTorch 逐步实现 DDPM 扩散模型
Hugging Face 官方博客以 Ho et al. 2020 的 DDPM 论文为基础，基于 Phil Wang 的实现用 PyTorch 逐步讲解并实现扩散模型。
Hugging Face BlogAI 评分3636 Deep Q-Learning with Space Invaders：用深度强化学习玩 Space Invaders
Hugging Face 深度强化学习课程第 3 单元讲解 Deep Q-Learning，用神经网络近似 Q 值替代 Q-table，以解决 Atari 环境状态空间过大（256^100800）导致表格方法失效的问题。
Hugging Face BlogAI 评分2727 Q-Learning 入门（下）：从零实现并训练 Q-Learning 智能体
Hugging Face 深度强化学习课程第 2 单元下篇讲解 Q-Learning 算法，从零实现 Q-Learning 智能体，并在 Frozen Lake v1 和自动驾驶出租车两个环境中训练。内容涵盖 off-policy、value-based 方法、TD 更新、Q-Table 初始化与 Epsilon Greedy 策略，是学习 Deep Q-Learning（第 3 单元）的基础。
Hugging Face BlogAI 评分1818 Sempre Health 借助 Hugging Face Expert Acceleration Program 加速 ML 路线图
Sempre Health 通过 Hugging Face 的 Expert Acceleration Program 部署了新的 NLP pipeline，自动分类并回复患者短信，上线后约 20% 的 incoming messages 被系统自动处理。
Hugging Face BlogAI 评分3434 Hugging Face 深度强化学习课程：Q-Learning 入门（第一部分）
Hugging Face 深度强化学习课程第 2 单元第一部分讲解基于价值的方法，介绍状态价值函数、动作价值函数、Bellman 方程，以及 Monte Carlo 与 Temporal Difference Learning 的区别。该单元是后续学习 Deep Q-Learning 的基础，第二部分将实现 Q-Learning 智能体并在 Frozen-Lake-v1 等环境中训练。
Hugging Face BlogAI 评分3838 Hugging Face 深度强化学习课程第一章：强化学习入门
Hugging Face 免费深度强化学习课程第一章讲解强化学习基础，涵盖 RL 过程、奖励假设、马尔可夫性质、动作与状态空间、探索/利用权衡，以及基于策略和基于价值两大方法。
Hugging Face BlogAI 评分5454 Hugging Face 教程：用 Accelerate 调用 PyTorch FSDP 训练大模型
Hugging Face 官方博客介绍如何通过 Accelerate 库在不改代码的情况下启用 PyTorch FullyShardedDataParallel (FSDP) 训练大模型，并给出 GPT-2 Large (762M) 与 GPT-2 XL (1.5B) 的实测对比。
Hugging Face BlogAI 评分2323 用 Kili 和 HuggingFace AutoTrain 构建评论分类与情感分析流水线
文章演示如何结合 Kili 数据标注平台与 HuggingFace AutoTrain，对 Google Play 上约 40130 条 Medium 评论构建主动学习文本分类流水线，定义 Subscription、Content、Interface、User Experience 四个类别并进行标注。
Hugging Face BlogAI 评分3838 在 Habana Gaudi 上使用 Transformers 入门指南
Hugging Face 与 Habana Labs 合作，可在 AWS EC2 DL1 实例（8 颗 Habana Gaudi 处理器）上用 Optimum Habana 微调 BERT 模型。在 GLUE MRPC 任务上训练 3 个 epoch 耗时 2 分 12 秒，F1 达 0.9181。Spot 实例将成本从 $13.11/小时降至 $3.93/小时，节省 70%。
Hugging Face BlogAI 评分3939 用 Hugging Face 生态机器学习工具增强客户服务
Hugging Face 发布教程，演示如何用其生态的机器学习工具构建客服消息情感分类系统，自动筛选出不满客户的反馈优先回复。文章将用例定义为五级情感的文本分类任务，并对比 Glue、Amazon polarity、Tweet eval、Yelp review full、Amazon reviews multi 等数据集，最终推荐 Amazon reviews multi 作为训练数据。
Hugging Face BlogAI 评分4444 Hugging Face Transformers 为何故意不遵循 DRY 原则：单模型文件策略解析
Hugging Face Transformers 库有意不遵循 DRY 原则，转而采用“单模型文件策略”，即模型 forward 所需的全部代码只放在一个 modeling 文件中。该设计便于开源社区贡献者独立修复 bug 和提交新模型，也利于读者理解与修改代码。文章还指出机器学习领域演进极快，难以定义通用的标准组件，而模型发布后通常保持静态。
Hugging Face BlogAI 评分4444 用自定义数据集微调 SegFormer 语义分割模型
这篇 Hugging Face 教程演示如何用自定义数据集微调 SegFormer 语义分割模型，目标是让披萨配送机器人识别人行道与障碍物。
Hugging Face BlogAI 评分3838 用 🤗 datasets 构建图像搜索应用
Hugging Face 教程演示如何用 🤗 datasets 结合 sentence_transformers 和 faiss 构建图像搜索应用，使用 British Library 数字化书籍中提取的 10000 张 "embellishments" 图像数据集。
Hugging Face BlogAI 评分4141 用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
Hugging Face 发布端到端教程，演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face BlogAI 评分4444 🤗 Transformers 中用约束束搜索引导文本生成
Hugging Face 在 🤗 Transformers 中推出 constrained beam search（约束束搜索）功能，通过 `model.generate()` 的 `force_words_ids` 参数在生成阶段强制输出包含指定词或词组，无需事后过滤。
Hugging Face BlogAI 评分2626 BERT 101：详解这一 SOTA NLP 模型
BERT 是 Google AI Language 于 2018 年开发的 NLP 模型，可解决 11+ 项常见语言任务，自 2020 年 11 月起帮助 Google 改善几乎所有英文搜索结果。
Hugging Face BlogAI 评分5050 用 🤗 Transformers 微调 ViT 进行图像分类
这篇教程演示如何用 🤗 datasets 加载 beans 数据集，并用 🤗 transformers 微调预训练的 google/vit-base-patch16-224-in21k 模型进行图像分类。流程包括用 ViTImageProcessor 对图像做归一化和 resize 到 224 等预处理，再将像素值送入模型训练。
Hugging Face BlogAI 评分4343 用 Python 入门情感分析：预训练模型调用与自建模型指南
Hugging Face 发布指南，教你用 Python 完成情感分析：从概念、调用预训练模型、自建模型到分析推文。Hugging Face Hub 上有超过 27,000 个模型、215+ 个情感分析模型，用 5 行代码即可调用 pipeline 完成预测，还推荐了 Twitter-roberta-base-sentiment 等微调模型。
Hugging Face BlogAI 评分4545 🤗 Transformers 如何用 Wav2Vec2 处理超长音频的自动语音识别
Hugging Face 介绍了在 🤗 Transformers 中利用 Wav2Vec2 的 CTC 架构特性，实现超长文件乃至实时流式自动语音识别（ASR）的方法。
Hugging Face BlogAI 评分3838 Hugging Face Hub 搜索功能升级：huggingface_hub 新增 ModelFilter 与 ModelSearchArguments
huggingface_hub 新增 ModelSearchArguments 和 ModelFilter 两个类，让用户在 Jupyter 或 Python 环境中无需离开 IDE 即可搜索 Hub 上的模型与数据集。
Hugging Face BlogAI 评分5656 Hugging Face 教程：用 n-gram 语言模型提升 Wav2Vec2 语音识别效果
Hugging Face 官方博客给出分步教程，用 🤗 Transformers 新集成的 pyctcdecode 把 n-gram 语言模型与已微调的 Wav2Vec2 结合，改善语音转写拼写错误。
Hugging Face BlogAI 评分4444 用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 推理
Hugging Face 介绍如何用 Hugging Face Inference Toolkit 和 Amazon SageMaker 部署 EleutherAI 的 GPT-J 6B（6 billion 参数开源模型）做实时推理，用普通 NVIDIA T4 GPU 实例（约 500$/m）几行代码即可完成。
Hugging Face BlogAI 评分3636 用 AutoNLP 和 Prodigy 构建主动学习流水线
Hugging Face 介绍了如何用 AutoNLP 和 Prodigy 搭建主动学习流水线：先用 Prodigy 对 BBC News Classification 数据集标注 NER 标签（PERSON、ORG、PRODUCT、LOCATION），再将标注数据转换为 AutoNLP 格式训练模型。
Hugging Face BlogAI 评分5656 Hugging Face 教你从零训练代码生成模型 CodeParrot
Hugging Face 发布教程，讲解如何从零训练用于 Python 代码补全的 GPT-2 模型 CodeParrot。
Hugging Face BlogAI 评分3838 Hugging Face Transformers 在 Graphcore IPU 上的 Optimum 入门指南
Hugging Face 与 Graphcore 合作推出首个 IPU 优化模型 BERT，开发者可通过开源库 Optimum 在 Graphcore IPU 上加速 Transformer 模型的训练、微调与推理。
Hugging Face BlogAI 评分3838 用 Intel 技术加速 PyTorch 分布式微调
Hugging Face 演示了如何在 Intel Xeon Scalable（Ice Lake 架构）CPU 集群上加速 PyTorch 分布式微调，通过 Intel extension for PyTorch 与 Intel oneAPI Collective Communications Library（oneCCL）优化训练与通信。