Hugging Face Optimum 与 ONNX Runtime：让 Hugging Face 模型训练更轻松、更快
Hugging Face 与 Microsoft 的 ONNX Runtime 团队合作，通过 Optimum 库集成 ONNX Runtime 训练，可将许多 Hugging Face 模型的训练时间缩短 35% 以上。
#部署/工程
Hugging Face BlogAI 评分4646
Hugging Face BlogAI 评分4444 用 Intel Sapphire Rapids 加速 PyTorch 训练（上）
Hugging Face 介绍如何在 AWS 上用 Intel 第四代 Xeon Sapphire Rapids 服务器集群加速 PyTorch 训练，通过 Intel oneAPI CCL 分布式训练并用 IPEX 自动启用 AMX 新指令，代码无需改动。
Hugging Face BlogAI 评分4444 Habana Gaudi2 与 Nvidia A100 80GB 训练与推理性能对比
Hugging Face 用 🤗 Optimum Habana 对比了 Gaudi2、一代 Gaudi 与 Nvidia A100 80GB 的训练和推理性能，Gaudi2 在两项上均约快 2 倍。
OpenAI NewsAI 评分55 OpenAI 超算团队工程师 Christian Gibson 解析后端系统的细节
OpenAI 超算团队工程师 Christian Gibson 分享了后端系统的细节。
Hugging Face BlogAI 评分3838 Hugging Face 推理方案概览：从免费 Inference Widget 到生产级 Inference Endpoints
Hugging Face 梳理了从免费到生产级的推理方案：Inference Widget 免费单击试用模型，Inference API 通过 HTTP 请求免费调用 Hub 上任意模型（有速率限制，不建议生产使用）。
Hugging Face BlogAI 评分3838 Hugging Face 推出新定价方案：Inference API 免费化，新增 Inference Endpoints
Hugging Face 取消 Inference API 的付费层，该服务将对所有人免费开放，同时推出面向企业级推理的新服务 Inference Endpoints，并为 Spaces 增加硬件升级。
Hugging Face BlogAI 评分4444 Hugging Face Optimum Intel 集成 OpenVINO 加速模型推理与量化
Hugging Face 宣布在 Optimum Intel 中加入 Intel OpenVINO，可直接用 OpenVINO Runtime 在各类 Intel 处理器上运行 Transformers 模型推理，并通过 NNCF 量化压缩模型体积与延迟。
Hugging Face BlogAI 评分5050 从 PyTorch DDP 到 Accelerate 到 Trainer：轻松掌握分布式训练
Hugging Face 教程以 MNIST 训练为例，分三个抽象层级讲解多 GPU 分布式训练：原生 PyTorch DDP（`pytorch.distributed` 模块）。
Hugging Face BlogAI 评分4444 Hugging Face Inference Endpoints 上手指南
Hugging Face 推出 Inference Endpoints，可从 Hugging Face hub 通过几次点击将模型部署到所选云厂商的托管基础设施上。
Hugging Face BlogAI 评分5656 Hugging Face 复盘 BLOOM 推理优化：延迟降 5 倍、吞吐提升 50 倍
Hugging Face 分享了为 BLOOM（176B 参数、352GB bf16）构建高效推理服务器的完整过程，数周内实现延迟降低 5 倍、吞吐提升 50 倍。
Hugging Face BlogAI 评分5151 Hugging Face Accelerate 如何借助 PyTorch 运行超大模型
Hugging Face 官方博客讲解 Accelerate 如何借助 PyTorch 让超大模型在免费 Colab 等消费级硬件上完成加载与推理。文章先指出传统加载流程的内存瓶颈：OPT-6.7B 仅创建模型就需约 26.8GB RAM，BLOOM 或 OPT-176B 这类 176B 参数模型按传统方式需 1.4TB CPU RAM。
Hugging Face BlogAI 评分5555 Hugging Face 实测 BLOOM 176B 推理：DeepSpeed-Inference 达亚毫秒级吞吐
Hugging Face Blog 在 8x80GB A100 节点上对比了 Accelerate、DeepSpeed-Inference 和 DeepSpeed ZeRO 三套 BLOOM 176B 推理方案的加载时间与逐 token 吞吐。
Hugging Face BlogAI 评分4545 如何用 Megatron-LM 训练语言模型
Hugging Face 博客给出在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 模型的完整教程，涵盖环境搭建、数据预处理、训练与模型转换到 🤗 Transformers 四个步骤。
Hugging Face BlogAI 评分3838 在 Vertex AI 上部署 🤗 ViT
Hugging Face 演示了如何用 google-cloud-aiplatform Python SDK 将 🤗 Transformers 的 ViT B/16 TensorFlow 模型部署到 Vertex AI，相比 Kubernetes 部署代码量显著更少且同样具备可扩展性。
Hugging Face BlogAI 评分3434 Hugging Face Optimum Graphcore 上的 Vision Transformer 深度解析
Hugging Face 与 Graphcore 联合发布教程，展示如何在 Graphcore IPU 上用 Hugging Face Optimum 库微调 Vision Transformer（ViT）模型。
Hugging Face BlogAI 评分3838 在 Kubernetes 上部署 🤗 ViT 与 TF Serving
Hugging Face 教程讲解如何用 Docker 和 Kubernetes 将上一篇的 ViT 本地部署扩展到生产环境，支持多用户访问。
Hugging Face BlogAI 评分4444 用 TensorFlow 和 XLA 加速文本生成
Hugging Face transformers 库的文本生成现已支持用 XLA 编译 TensorFlow，速度最高提升 100x，甚至超过 PyTorch。
Hugging Face BlogAI 评分4141 使用 TF Serving 部署 Hugging Face 中的 TensorFlow 视觉模型
Hugging Face 介绍了如何用 TensorFlow Serving (TF Serving) 本地部署 Transformers 中的 Vision Transformer (ViT) 图像分类模型，将其暴露为 REST 或 gRPC 端点。
Hugging Face BlogAI 评分5151 Hugging Face 教程：用 Accelerate 结合 DeepSpeed ZeRO 加速大模型训练
Hugging Face 官方博客介绍如何用 Accelerate 库调用 DeepSpeed ZeRO 来训练大模型，无需改代码即可通过 accelerate config 启用 ZeRO Stage-2。
Hugging Face BlogAI 评分3535 用 Hugging Face Optimum 将 Transformers 模型转换为 ONNX 的三种方法
Hugging Face 介绍了将 Transformers 模型转换为 ONNX 的三种方法，以 distilbert-base-uncased-finetuned-sst-2-english 为例。
Hugging Face BlogAI 评分3838 Intel 加入 Hugging Face 硬件伙伴计划，推出 Optimum Intel 开源库
Intel 正式加入 Hugging Face 的 Hardware Partner Program，双方基于 Optimum 开源库合作打造 Transformer 模型的训练、微调与推理硬件加速。
OpenAI NewsAI 评分1515 训练大型神经网络的技术
OpenAI 指出，大型神经网络是近期 AI 多项进展的核心，但训练它们是一项困难的工程与研究挑战，需要协调 GPU 集群执行单一的同步计算。
Hugging Face BlogAI 评分4444 Hugging Face Optimum 1.2 支持 Transformers pipelines 加速推理
Hugging Face 发布 Optimum 1.2，新增对 Transformers pipelines 的推理支持，用户只需把 AutoModelForXxx 替换为 ORTModelForXxx 即可调用 ONNX Runtime 等加速运行时，代码与 Transformers API 完全兼容。
Hugging Face BlogAI 评分5454 Hugging Face 教程：用 Accelerate 调用 PyTorch FSDP 训练大模型
Hugging Face 官方博客介绍如何通过 Accelerate 库在不改代码的情况下启用 PyTorch FullyShardedDataParallel (FSDP) 训练大模型，并给出 GPT-2 Large (762M) 与 GPT-2 XL (1.5B) 的实测对比。
Hugging Face BlogAI 评分3838 在 Habana Gaudi 上使用 Transformers 入门指南
Hugging Face 与 Habana Labs 合作，可在 AWS EC2 DL1 实例（8 颗 Habana Gaudi 处理器）上用 Optimum Habana 微调 BERT 模型。在 GLUE MRPC 任务上训练 3 个 epoch 耗时 2 分 12 秒，F1 达 0.9181。Spot 实例将成本从 $13.11/小时降至 $3.93/小时，节省 70%。
Hugging Face BlogAI 评分3838 Hugging Face Hub 与 Transformers 如何追踪和筛选模型 CO2 排放
Hugging Face 通过 huggingface_hub 的 emissions_thresholds 参数和 transformers 的 codecarbon 集成，帮助用户追踪、报告并按碳排放筛选模型。
Hugging Face BlogAI 评分2626 Machine Learning Experts 播客：Lewis Tunstall 谈 Transformers 与新书《NLP with Transformers》
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Hugging Face 机器学习工程师 Lewis Tunstall。
Hugging Face BlogAI 评分3636 Habana Labs 与 Hugging Face 合作加速 Transformer 模型训练
Habana Labs 与 Hugging Face 宣布合作，将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成，让用户只需几行代码即可在 Habana 处理器上加速 Transformer 训练任务。
Hugging Face BlogAI 评分4141 用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
Hugging Face 发布端到端教程，演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face BlogAI 评分1818 Hugging Face Infinity 案例研究：用现代 CPU 实现毫秒级延迟
Hugging Face Infinity 在 Amazon EC2 C6i（第 3 代 Intel Xeon）上运行 DistilBERT 序列分类任务，相比 cascade-lake 实例延迟与吞吐最高提升 34%，相比 ice-lake 上的 vanilla transformers 最高提升 800%。
Hugging Face BlogAI 评分4444 用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 推理
Hugging Face 介绍如何用 Hugging Face Inference Toolkit 和 Amazon SageMaker 部署 EleutherAI 的 GPT-J 6B（6 billion 参数开源模型）做实时推理，用普通 NVIDIA T4 GPU 实例（约 500$/m）几行代码即可完成。
Hugging Face BlogAI 评分3838 Hugging Face Transformers 在 Graphcore IPU 上的 Optimum 入门指南
Hugging Face 与 Graphcore 合作推出首个 IPU 优化模型 BERT，开发者可通过开源库 Optimum 在 Graphcore IPU 上加速 Transformer 模型的训练、微调与推理。
Hugging Face BlogAI 评分3838 用 Intel 技术加速 PyTorch 分布式微调
Hugging Face 演示了如何在 Intel Xeon Scalable（Ice Lake 架构）CPU 集群上加速 PyTorch 分布式微调，通过 Intel extension for PyTorch 与 Intel oneAPI Collective Communications Library（oneCCL）优化训练与通信。
Hugging Face BlogAI 评分4747 在现代 CPU 上扩展 BERT 类模型推理 — 第二部分：Intel 软件优化
Hugging Face 与 Intel 合作介绍在 Intel Xeon Ice Lake CPU 上用软件优化 BERT 类模型推理的方法，Ice Lake 相比上一代 Cascade Lake 在多种 NLP 任务上推理最高快 75%。
Hugging Face BlogAI 评分4141 大语言模型：新的摩尔定律？
Hugging Face 质疑 Megatron-Turing NLG 530B 这类超大模型趋势，认为其训练需数百台 $199,000 的 DGX A100 服务器、成本接近 $100 million，且碳足迹巨大（训练 BERT 相当于一次跨美飞行），但 benchmark 提升相对有限。
Hugging Face BlogAI 评分3838 机器学习正成为软件工程：Hugging Face 谈 MLOps 与 Transformer 的普及
Hugging Face 认为机器学习应像普通 IT 负载一样被工程化管理，企业更应招聘懂 ML 的软件与 DevOps 工程师而非更多数据科学家。Kaggle 调查显示 75% 受访者使用云服务、超过 45% 使用企业级 ML 平台，Amazon SageMaker、Databricks 和 Azure ML Studio 排名前三。
Hugging Face BlogAI 评分3838 用 Streamlit 在 Hugging Face Spaces 上托管你的模型和数据集
Hugging Face 介绍了如何用 Streamlit 在 Hugging Face Spaces 上托管模型和数据集并部署应用，以复现 "Write with Transformer" 为例，用 text_area、sidebar slider、number_input 等组件接收 GPT-2、XLNet 推理所需的超参数。
Hugging Face BlogAI 评分4444 用 Gradio 在 Hugging Face Spaces 展示你的项目
Gradio 与 Hugging Face Hub 完成集成，只需定义 Interface（模型仓库 ID、描述、示例输入）并调用 .launch()，即可通过 Inference API 用几行代码跑通模型演示。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Optimum：面向大规模 Transformers 的优化工具包
Hugging Face 推出开源库 Optimum，旨在为 Transformers 提供生产性能优化工具包，与硬件合作伙伴（如 Intel）协作，让工程师在特定硬件上高效训练和运行模型。
Hugging Face BlogAI 评分3636 Hugging Face 与 Graphcore 合作推出 IPU 优化的 Transformers 模型
Hugging Face 在 2021 AI Hardware Summit 上宣布启动 Hardware Partner Program，Graphcore 作为创始成员加入，双方将通过开源工具库 Optimum 提供针对 Graphcore IPU 优化的模型，首批 IPU 优化模型将于当年晚些时候上线。