Hugging Face 复盘 BLOOM 推理优化：延迟降 5 倍、吞吐提升 50 倍
Hugging Face 分享了为 BLOOM（176B 参数、352GB bf16）构建高效推理服务器的完整过程，数周内实现延迟降低 5 倍、吞吐提升 50 倍。
全部 AI 动态
Hugging Face BlogAI 评分5656
Hugging Face BlogAI 评分5151 Hugging Face Accelerate 如何借助 PyTorch 运行超大模型
Hugging Face 官方博客讲解 Accelerate 如何借助 PyTorch 让超大模型在免费 Colab 等消费级硬件上完成加载与推理。文章先指出传统加载流程的内存瓶颈：OPT-6.7B 仅创建模型就需约 26.8GB RAM，BLOOM 或 OPT-176B 这类 176B 参数模型按传统方式需 1.4TB CPU RAM。
Hugging Face BlogAI 评分5555 Hugging Face 实测 BLOOM 176B 推理：DeepSpeed-Inference 达亚毫秒级吞吐
Hugging Face Blog 在 8x80GB A100 节点上对比了 Accelerate、DeepSpeed-Inference 和 DeepSpeed ZeRO 三套 BLOOM 176B 推理方案的加载时间与逐 token 吞吐。
Hugging Face BlogAI 评分4444 Hugging Face 教你从零训练第一个 Decision Transformer
Hugging Face 发布教程，教你在 Google Colab 上从零训练一个离线 Decision Transformer 模型，让 mujoco halfcheetah 环境中的半猎豹跑起来。教程使用 🤗 Trainer 和自定义 Data Collator，基于 hub 上的 halfcheetah-expert-v2 数据集完成训练，代码已开源在 Colab notebook 中。
Hugging Face BlogAI 评分4545 如何用 Megatron-LM 训练语言模型
Hugging Face 博客给出在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 模型的完整教程，涵盖环境搭建、数据预处理、训练与模型转换到 🤗 Transformers 四个步骤。
Hugging Face BlogAI 评分3838 在 Hugging Face Spaces 上可视化蛋白质结构
Hugging Face 介绍如何在 Spaces 中用 3Dmol.js 和 Gradio 的 HTML block 集成蛋白质结构可视化，支持输入 4 位 PDB code 或上传 PDB 文件，从 RCSB Protein Databank 拉取结构并渲染。
Hugging Face BlogAI 评分3636 使用 Hugging Face Transformers 和 Habana Gaudi 预训练 BERT 教程
Hugging Face 发布教程，讲解如何在 AWS 的 Habana Gaudi DL1 实例上，用 Hugging Face Transformers、Optimum Habana 和 Datasets 库从零预训练 BERT-base 模型。
Hugging Face BlogAI 评分5858 Hugging Face 教程：用 Diffusers 库运行 Stable Diffusion
Hugging Face 官方博客介绍如何用 🧨 Diffusers 库运行 Stable Diffusion，涵盖安装 diffusers==0.10.2、用 StableDiffusionPipeline 生成图像、fp16 省显存、seed 与 guidance_scale、num_inference_steps、批量生成与非方形分辨率等用法。
Hugging Face BlogAI 评分3838 在 Vertex AI 上部署 🤗 ViT
Hugging Face 演示了如何用 google-cloud-aiplatform Python SDK 将 🤗 Transformers 的 ViT B/16 TensorFlow 模型部署到 Vertex AI，相比 Kubernetes 部署代码量显著更少且同样具备可扩展性。
Hugging Face BlogAI 评分3434 Hugging Face Optimum Graphcore 上的 Vision Transformer 深度解析
Hugging Face 与 Graphcore 联合发布教程，展示如何在 Graphcore IPU 上用 Hugging Face Optimum 库微调 Vision Transformer（ViT）模型。
Hugging Face BlogAI 评分3838 Hugging Face 的 TensorFlow 设计哲学
Hugging Face 阐述了 transformers 库在 TensorFlow 上的设计哲学：所有 TensorFlow 模型均为 Keras Model 对象、所有层均为 Keras Layer 对象，用户可直接调用 fit()、compile() 和 predict()。
Hugging Face BlogAI 评分3838 在 Kubernetes 上部署 🤗 ViT 与 TF Serving
Hugging Face 教程讲解如何用 Docker 和 Kubernetes 将上一篇的 ViT 本地部署扩展到生产环境，支持多用户访问。
Hugging Face BlogAI 评分1818 Hugging Face 教程：训练与微调 Sentence Transformers 模型
Hugging Face 发布教程，讲解如何从零构建或微调 Sentence Transformers 模型，涵盖数据集四种格式、损失函数选择、训练与分享至 Hugging Face Hub。
Hugging Face BlogAI 评分3838 Proximal Policy Optimization (PPO)
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization (PPO)，通过将当前与旧策略的概率比裁剪到 [1−ϵ, 1+ϵ] 区间来限制策略更新幅度，从而提升训练稳定性。文中对比了 TRPO 的 KL 散度约束方案，并将用 PyTorch 从零实现 PPO Agent，在 CartPole-v1 和 LunarLander-v2 上验证。
Hugging Face BlogAI 评分2626 Nyströmformer：用 Nyström 方法将自注意力近似为线性时间与内存复杂度
Nyströmformer 通过 Nyström 方法将标准自注意力的 O(n²) 复杂度降至 O(n)，在多项 NLP 与 CV 任务上保持与标准自注意力相当的性能。
Hugging Face BlogAI 评分4444 用 TensorFlow 和 XLA 加速文本生成
Hugging Face transformers 库的文本生成现已支持用 XLA 编译 TensorFlow，速度最高提升 100x，甚至超过 PyTorch。
Hugging Face BlogAI 评分4141 使用 TF Serving 部署 Hugging Face 中的 TensorFlow 视觉模型
Hugging Face 介绍了如何用 TensorFlow Serving (TF Serving) 本地部署 Transformers 中的 Vision Transformer (ViT) 图像分类模型，将其暴露为 REST 或 gRPC 端点。
Hugging Face BlogAI 评分3838 Hugging Face 深度强化学习课程 Unit 7：Advantage Actor Critic (A2C)
Hugging Face 深度强化学习课程 Unit 7 讲解 Advantage Actor Critic (A2C)，即结合策略基与价值基方法的 Actor-Critic 混合架构，用 Critic 评估动作价值以降低 Reinforce 中蒙特卡洛采样带来的高方差，从而稳定训练。
Hugging Face BlogAI 评分3838 Hugging Face 教你用对抗数据动态训练模型
Hugging Face 以 MNIST 手写数字识别为例，演示如何通过 🤗 Spaces 动态收集对抗数据并迭代训练模型：用户在画布上手写数字骗过模型，flag 后存入数据集并重新训练，循环多轮提升鲁棒性。
Hugging Face BlogAI 评分5656 Hugging Face 解析 BLOOM 176B 模型训练背后的软硬件技术
Hugging Face 官方博客详细解析了 176B 参数多语言模型 BLOOM 的训练技术，硬件为 384 张 A100 80GB GPU，软件栈为 Megatron-DeepSpeed，数据为 59 种语言的 350B tokens，训练耗时约 3.5 个月（约 1M compute hours）。
Hugging Face BlogAI 评分3838 用 Sentence Transformers 和 Gradio 构建歌单生成器
作者用 Sentence Transformers 和 Gradio Blocks 构建了一个歌单生成器，通过语义搜索将文本提示词匹配为歌曲。项目选用 msmarco-MiniLM-L-6-v3 模型，因 512 word pieces 上限将歌词按段落切分后生成嵌入向量，设 top_k=20 可稳定得到至少 9 首不同歌曲，应用托管在 Hugging Face Spaces。
Hugging Face BlogAI 评分3636 如何用代码和无代码方式做 Twitter 情感分析
Hugging Face 发布了一份 Twitter 情感分析入门指南，面向有代码和无代码两类用户。有代码的用户可用 Tweepy 抓取推文，再调用 Inference API 用几行代码完成情感分析并用 Matplotlib 可视化；无代码用户可用 Zapier 结合 Inference API 抓取推文、分析后把结果发送到 Google Sheets。
Hugging Face BlogAI 评分3838 Hugging Face 深度强化学习课程 Unit 5：用 PyTorch 实现 Policy Gradient（Reinforce）
Hugging Face 深度强化学习课程 Unit 5 讲解 Policy-Gradient 方法，并用 PyTorch 从零实现首个策略梯度算法 Reinforce（Monte Carlo Policy Gradient），随后在 CartPole-v1、PixelCopter 和 Pong 上测试其鲁棒性。
Hugging Face BlogAI 评分3434 Hugging Face：如何用 Sentence Transformers 开启你的第一个 ML 项目
Hugging Face 博客以 Sentence Transformers（ST）为例，讲解如何从零开始规划并完成第一个机器学习项目。ST 可将句子、段落和图像转为向量嵌入，通过内置的 util.cos_sim 计算 -1 到 1 的余弦相似度分数，实现语义搜索，其 GitHub 已获近 8,000 stars、超过 3,000 个项目和包依赖它。
Hugging Face BlogAI 评分5151 Hugging Face 教程：用 Accelerate 结合 DeepSpeed ZeRO 加速大模型训练
Hugging Face 官方博客介绍如何用 Accelerate 库调用 DeepSpeed ZeRO 来训练大模型，无需改代码即可通过 accelerate config 启用 ZeRO Stage-2。
Hugging Face BlogAI 评分4949 Hugging Face 嵌入向量入门教程：用 Inference API 构建 FAQ 语义搜索
Hugging Face 发布嵌入向量（embeddings）入门教程，演示如何用开源库 Sentence Transformers 的 "sentence-transformers/all-MiniLM-L6-v2" 模型。
Hugging Face BlogAI 评分3535 用 Hugging Face Optimum 将 Transformers 模型转换为 ONNX 的三种方法
Hugging Face 介绍了将 Transformers 模型转换为 ONNX 的三种方法，以 distilbert-base-uncased-finetuned-sst-2-english 为例。
OpenAI NewsAI 评分1515 训练大型神经网络的技术
OpenAI 指出，大型神经网络是近期 AI 多项进展的核心，但训练它们是一项困难的工程与研究挑战，需要协调 GPU 集群执行单一的同步计算。
Hugging Face BlogAI 评分5858 Hugging Face 博客用 PyTorch 逐步实现 DDPM 扩散模型
Hugging Face 官方博客以 Ho et al. 2020 的 DDPM 论文为基础，基于 Phil Wang 的实现用 PyTorch 逐步讲解并实现扩散模型。
Hugging Face BlogAI 评分3636 Deep Q-Learning with Space Invaders：用深度强化学习玩 Space Invaders
Hugging Face 深度强化学习课程第 3 单元讲解 Deep Q-Learning，用神经网络近似 Q 值替代 Q-table，以解决 Atari 环境状态空间过大（256^100800）导致表格方法失效的问题。
Hugging Face BlogAI 评分2727 Q-Learning 入门（下）：从零实现并训练 Q-Learning 智能体
Hugging Face 深度强化学习课程第 2 单元下篇讲解 Q-Learning 算法，从零实现 Q-Learning 智能体，并在 Frozen Lake v1 和自动驾驶出租车两个环境中训练。内容涵盖 off-policy、value-based 方法、TD 更新、Q-Table 初始化与 Epsilon Greedy 策略，是学习 Deep Q-Learning（第 3 单元）的基础。
Hugging Face BlogAI 评分1818 Sempre Health 借助 Hugging Face Expert Acceleration Program 加速 ML 路线图
Sempre Health 通过 Hugging Face 的 Expert Acceleration Program 部署了新的 NLP pipeline，自动分类并回复患者短信，上线后约 20% 的 incoming messages 被系统自动处理。
Hugging Face BlogAI 评分3434 Hugging Face 深度强化学习课程：Q-Learning 入门（第一部分）
Hugging Face 深度强化学习课程第 2 单元第一部分讲解基于价值的方法，介绍状态价值函数、动作价值函数、Bellman 方程，以及 Monte Carlo 与 Temporal Difference Learning 的区别。该单元是后续学习 Deep Q-Learning 的基础，第二部分将实现 Q-Learning 智能体并在 Frozen-Lake-v1 等环境中训练。
Hugging Face BlogAI 评分3838 Hugging Face 深度强化学习课程第一章：强化学习入门
Hugging Face 免费深度强化学习课程第一章讲解强化学习基础，涵盖 RL 过程、奖励假设、马尔可夫性质、动作与状态空间、探索/利用权衡，以及基于策略和基于价值两大方法。
Hugging Face BlogAI 评分5454 Hugging Face 教程：用 Accelerate 调用 PyTorch FSDP 训练大模型
Hugging Face 官方博客介绍如何通过 Accelerate 库在不改代码的情况下启用 PyTorch FullyShardedDataParallel (FSDP) 训练大模型，并给出 GPT-2 Large (762M) 与 GPT-2 XL (1.5B) 的实测对比。
Hugging Face BlogAI 评分2323 用 Kili 和 HuggingFace AutoTrain 构建评论分类与情感分析流水线
文章演示如何结合 Kili 数据标注平台与 HuggingFace AutoTrain，对 Google Play 上约 40130 条 Medium 评论构建主动学习文本分类流水线，定义 Subscription、Content、Interface、User Experience 四个类别并进行标注。
Hugging Face BlogAI 评分3838 在 Habana Gaudi 上使用 Transformers 入门指南
Hugging Face 与 Habana Labs 合作，可在 AWS EC2 DL1 实例（8 颗 Habana Gaudi 处理器）上用 Optimum Habana 微调 BERT 模型。在 GLUE MRPC 任务上训练 3 个 epoch 耗时 2 分 12 秒，F1 达 0.9181。Spot 实例将成本从 $13.11/小时降至 $3.93/小时，节省 70%。
Hugging Face BlogAI 评分3939 用 Hugging Face 生态机器学习工具增强客户服务
Hugging Face 发布教程，演示如何用其生态的机器学习工具构建客服消息情感分类系统，自动筛选出不满客户的反馈优先回复。文章将用例定义为五级情感的文本分类任务，并对比 Glue、Amazon polarity、Tweet eval、Yelp review full、Amazon reviews multi 等数据集，最终推荐 Amazon reviews multi 作为训练数据。
Hugging Face BlogAI 评分4444 Hugging Face Transformers 为何故意不遵循 DRY 原则：单模型文件策略解析
Hugging Face Transformers 库有意不遵循 DRY 原则，转而采用“单模型文件策略”，即模型 forward 所需的全部代码只放在一个 modeling 文件中。该设计便于开源社区贡献者独立修复 bug 和提交新模型，也利于读者理解与修改代码。文章还指出机器学习领域演进极快，难以定义通用的标准组件，而模型发布后通常保持静态。
Hugging Face BlogAI 评分4444 用自定义数据集微调 SegFormer 语义分割模型
这篇 Hugging Face 教程演示如何用自定义数据集微调 SegFormer 语义分割模型，目标是让披萨配送机器人识别人行道与障碍物。