在 Vertex AI 上部署 🤗 ViT
Hugging Face 演示了如何用 google-cloud-aiplatform Python SDK 将 🤗 Transformers 的 ViT B/16 TensorFlow 模型部署到 Vertex AI，相比 Kubernetes 部署代码量显著更少且同样具备可扩展性。
#部署/工程
Hugging Face BlogAI 评分3838
Hugging Face BlogAI 评分3434 Hugging Face Optimum Graphcore 上的 Vision Transformer 深度解析
Hugging Face 与 Graphcore 联合发布教程，展示如何在 Graphcore IPU 上用 Hugging Face Optimum 库微调 Vision Transformer（ViT）模型。
Hugging Face BlogAI 评分3838 在 Kubernetes 上部署 🤗 ViT 与 TF Serving
Hugging Face 教程讲解如何用 Docker 和 Kubernetes 将上一篇的 ViT 本地部署扩展到生产环境，支持多用户访问。
Hugging Face BlogAI 评分4444 用 TensorFlow 和 XLA 加速文本生成
Hugging Face transformers 库的文本生成现已支持用 XLA 编译 TensorFlow，速度最高提升 100x，甚至超过 PyTorch。
Hugging Face BlogAI 评分4141 使用 TF Serving 部署 Hugging Face 中的 TensorFlow 视觉模型
Hugging Face 介绍了如何用 TensorFlow Serving (TF Serving) 本地部署 Transformers 中的 Vision Transformer (ViT) 图像分类模型，将其暴露为 REST 或 gRPC 端点。
Hugging Face BlogAI 评分5151 Hugging Face 教程：用 Accelerate 结合 DeepSpeed ZeRO 加速大模型训练
Hugging Face 官方博客介绍如何用 Accelerate 库调用 DeepSpeed ZeRO 来训练大模型，无需改代码即可通过 accelerate config 启用 ZeRO Stage-2。
Hugging Face BlogAI 评分3535 用 Hugging Face Optimum 将 Transformers 模型转换为 ONNX 的三种方法
Hugging Face 介绍了将 Transformers 模型转换为 ONNX 的三种方法，以 distilbert-base-uncased-finetuned-sst-2-english 为例。
Hugging Face BlogAI 评分3838 Intel 加入 Hugging Face 硬件伙伴计划，推出 Optimum Intel 开源库
Intel 正式加入 Hugging Face 的 Hardware Partner Program，双方基于 Optimum 开源库合作打造 Transformer 模型的训练、微调与推理硬件加速。
OpenAI NewsAI 评分1515 训练大型神经网络的技术
OpenAI 指出，大型神经网络是近期 AI 多项进展的核心，但训练它们是一项困难的工程与研究挑战，需要协调 GPU 集群执行单一的同步计算。
Hugging Face BlogAI 评分4444 Hugging Face Optimum 1.2 支持 Transformers pipelines 加速推理
Hugging Face 发布 Optimum 1.2，新增对 Transformers pipelines 的推理支持，用户只需把 AutoModelForXxx 替换为 ORTModelForXxx 即可调用 ONNX Runtime 等加速运行时，代码与 Transformers API 完全兼容。
Hugging Face BlogAI 评分5454 Hugging Face 教程：用 Accelerate 调用 PyTorch FSDP 训练大模型
Hugging Face 官方博客介绍如何通过 Accelerate 库在不改代码的情况下启用 PyTorch FullyShardedDataParallel (FSDP) 训练大模型，并给出 GPT-2 Large (762M) 与 GPT-2 XL (1.5B) 的实测对比。
Hugging Face BlogAI 评分3838 在 Habana Gaudi 上使用 Transformers 入门指南
Hugging Face 与 Habana Labs 合作，可在 AWS EC2 DL1 实例（8 颗 Habana Gaudi 处理器）上用 Optimum Habana 微调 BERT 模型。在 GLUE MRPC 任务上训练 3 个 epoch 耗时 2 分 12 秒，F1 达 0.9181。Spot 实例将成本从 $13.11/小时降至 $3.93/小时，节省 70%。
Hugging Face BlogAI 评分3838 Hugging Face Hub 与 Transformers 如何追踪和筛选模型 CO2 排放
Hugging Face 通过 huggingface_hub 的 emissions_thresholds 参数和 transformers 的 codecarbon 集成，帮助用户追踪、报告并按碳排放筛选模型。
Hugging Face BlogAI 评分2626 Machine Learning Experts 播客：Lewis Tunstall 谈 Transformers 与新书《NLP with Transformers》
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Hugging Face 机器学习工程师 Lewis Tunstall。
Hugging Face BlogAI 评分3636 Habana Labs 与 Hugging Face 合作加速 Transformer 模型训练
Habana Labs 与 Hugging Face 宣布合作，将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成，让用户只需几行代码即可在 Habana 处理器上加速 Transformer 训练任务。
Hugging Face BlogAI 评分4141 用 Hugging Face Transformers 和 AWS Inferentia 加速 BERT 推理
Hugging Face 发布端到端教程，演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face BlogAI 评分1818 Hugging Face Infinity 案例研究：用现代 CPU 实现毫秒级延迟
Hugging Face Infinity 在 Amazon EC2 C6i（第 3 代 Intel Xeon）上运行 DistilBERT 序列分类任务，相比 cascade-lake 实例延迟与吞吐最高提升 34%，相比 ice-lake 上的 vanilla transformers 最高提升 800%。
Hugging Face BlogAI 评分4444 用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 推理
Hugging Face 介绍如何用 Hugging Face Inference Toolkit 和 Amazon SageMaker 部署 EleutherAI 的 GPT-J 6B（6 billion 参数开源模型）做实时推理，用普通 NVIDIA T4 GPU 实例（约 500$/m）几行代码即可完成。
Hugging Face BlogAI 评分3838 Hugging Face Transformers 在 Graphcore IPU 上的 Optimum 入门指南
Hugging Face 与 Graphcore 合作推出首个 IPU 优化模型 BERT，开发者可通过开源库 Optimum 在 Graphcore IPU 上加速 Transformer 模型的训练、微调与推理。
Hugging Face BlogAI 评分3838 用 Intel 技术加速 PyTorch 分布式微调
Hugging Face 演示了如何在 Intel Xeon Scalable（Ice Lake 架构）CPU 集群上加速 PyTorch 分布式微调，通过 Intel extension for PyTorch 与 Intel oneAPI Collective Communications Library（oneCCL）优化训练与通信。
Hugging Face BlogAI 评分4747 在现代 CPU 上扩展 BERT 类模型推理 — 第二部分：Intel 软件优化
Hugging Face 与 Intel 合作介绍在 Intel Xeon Ice Lake CPU 上用软件优化 BERT 类模型推理的方法，Ice Lake 相比上一代 Cascade Lake 在多种 NLP 任务上推理最高快 75%。
Hugging Face BlogAI 评分4141 大语言模型：新的摩尔定律？
Hugging Face 质疑 Megatron-Turing NLG 530B 这类超大模型趋势，认为其训练需数百台 $199,000 的 DGX A100 服务器、成本接近 $100 million，且碳足迹巨大（训练 BERT 相当于一次跨美飞行），但 benchmark 提升相对有限。
Hugging Face BlogAI 评分3838 机器学习正成为软件工程：Hugging Face 谈 MLOps 与 Transformer 的普及
Hugging Face 认为机器学习应像普通 IT 负载一样被工程化管理，企业更应招聘懂 ML 的软件与 DevOps 工程师而非更多数据科学家。Kaggle 调查显示 75% 受访者使用云服务、超过 45% 使用企业级 ML 平台，Amazon SageMaker、Databricks 和 Azure ML Studio 排名前三。
Hugging Face BlogAI 评分3838 用 Streamlit 在 Hugging Face Spaces 上托管你的模型和数据集
Hugging Face 介绍了如何用 Streamlit 在 Hugging Face Spaces 上托管模型和数据集并部署应用，以复现 "Write with Transformer" 为例，用 text_area、sidebar slider、number_input 等组件接收 GPT-2、XLNet 推理所需的超参数。
Hugging Face BlogAI 评分4444 用 Gradio 在 Hugging Face Spaces 展示你的项目
Gradio 与 Hugging Face Hub 完成集成，只需定义 Interface（模型仓库 ID、描述、示例输入）并调用 .launch()，即可通过 Inference API 用几行代码跑通模型演示。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Optimum：面向大规模 Transformers 的优化工具包
Hugging Face 推出开源库 Optimum，旨在为 Transformers 提供生产性能优化工具包，与硬件合作伙伴（如 Intel）协作，让工程师在特定硬件上高效训练和运行模型。
Hugging Face BlogAI 评分3636 Hugging Face 与 Graphcore 合作推出 IPU 优化的 Transformers 模型
Hugging Face 在 2021 AI Hardware Summit 上宣布启动 Hardware Partner Program，Graphcore 作为创始成员加入，双方将通过开源工具库 Optimum 提供针对 Graphcore IPU 优化的模型，首批 IPU 优化模型将于当年晚些时候上线。
OpenAI News精选AI 评分6666 OpenAI 开源 GPU 编程语言 Triton 1.0
OpenAI 发布 Triton 1.0，一款类 Python 的开源编程语言，让没有 CUDA 经验的研究者也能编写高效 GPU 代码，多数情况下性能可与专家手写代码相当。
推荐理由：原文点明了 Triton 1.0 面向无 CUDA 经验研究者且性能接近专家水平，读者可据此判断它对 GPU 编程门槛的影响。
Hugging Face BlogAI 评分4444 用 Amazon SageMaker 轻松部署 Hugging Face 模型
Hugging Face 推出新的 Inference DLCs 与 SageMaker Hugging Face Inference Toolkit，只需一行代码即可将 Hugging Face Transformers 模型部署到 Amazon SageMaker，或从 Model Hub 的 10,000+ 公开模型中直接选择部署。
Hugging Face BlogAI 评分5050 Hugging Face 教你在 CPU 上扩展 BERT 推理（第一部分）
Hugging Face 发布系列博文第一部分，讲解如何在 CPU 上扩展 BERT 推理，重点覆盖硬件层面的优化。
Hugging Face BlogAI 评分3838 分布式训练：用 🤗 Transformers 和 Amazon SageMaker 对 BART/T5 做摘要任务微调
Hugging Face 与 Amazon SageMaker 合作推出优化的 Deep Learning Containers，通过 SageMaker Python SDK 中的 HuggingFace estimator 可用一行代码启动训练。
Hugging Face BlogAI 评分5555 Hugging Face 与 Amazon 达成战略合作，推出 Amazon SageMaker 深度学习容器
Hugging Face 宣布与 Amazon 达成战略合作，选择 AWS 作为其首选云提供商，并推出新的 Hugging Face Deep Learning Containers（DLCs），让用户在 Amazon SageMaker 中更轻松地训练 Transformers 模型。
Hugging Face BlogAI 评分3838 我在 Google Cloud 上部署 transformers 无服务器情感分析 pipeline 的实践
社区成员 Maxence Dominici 分享了将 transformers 情感分析 pipeline 部署为 Google Cloud 无服务器微服务的实践，用于自动判断 Discord 客户评论正负面。
Hugging Face BlogAI 评分3838 用 Ray 加速 Hugging Face Transformers 的 RAG 分布式微调
Hugging Face Transformers 的 RAG 模型引入 Ray 实现分布式文档检索，单次检索调用较 torch.distributed 提速 2x。
Hugging Face BlogAI 评分4444 Hugging Face 在 Cloud TPU 上用 PyTorch / XLA 训练 Transformer
Hugging Face 与 PyTorch / XLA 集成，让 PyTorch 用户在保持原有 Hugging Face Trainer 接口不变的情况下，在 Cloud TPU 上运行并扩展模型训练。
Hugging Face BlogAI 评分4444 Hugging Face Transformers 提升 TensorFlow 模型速度并部署 TensorFlow Serving 教程
Hugging Face Transformers v4.2.0 将 BERT、RoBERTa、ELECTRA 和 MPNet 的 TensorFlow 模型计算速度提升至比 Google 官方实现快约 10%，且比 4.1.1 版本快一倍。
OpenAI NewsAI 评分4545 OpenAI 将 Kubernetes 扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展到 7,500 节点，为 GPT-3、CLIP、DALL·E 等大模型提供可扩展的基础设施。该集群同样支持快速的小规模迭代研究，例如《Scaling Laws for Neural Language Models》。
Hugging Face BlogAI 评分5555 Hugging Face 教你用 ZeRO 通过 DeepSpeed 和 FairScale 更省显存地训练
Hugging Face 博客介绍如何在 transformers v4.2.0 中通过新增的 --sharded_ddp 和 --deepspeed 参数使用 FairScale 与 DeepSpeed 的 ZeRO 功能。
Hugging Face BlogAI 评分3939 Hugging Face 如何为 🤗 API 客户将 Transformer 推理加速 100 倍
Hugging Face 通过两阶段优化将 🤗 Accelerated Inference API 上的 Transformer 推理整体提速 100 倍。
Hugging Face BlogAI 评分3838 Hugging Face 开源 pytorch_block_sparse：让语言模型更小更快
Hugging Face 发布 pytorch_block_sparse 扩展库，基于 NVIDIA CUTLASS 实现块稀疏矩阵乘法，可作为 torch.nn.Linear 的直接替代，让神经网络更小更快。75% 稀疏度下速度约为稠密矩阵的 2 倍，内存占用降至 1/4；当前稀疏实现比 cuBLAS 优化的稠密版本慢约 2 倍，但已比 PyTorch 原生稀疏实现快一个数量级。