OpenAI 开源 GPU 编程语言 Triton 1.0
OpenAI 发布 Triton 1.0，一款类 Python 的开源编程语言，让没有 CUDA 经验的研究者也能编写高效 GPU 代码，多数情况下性能可与专家手写代码相当。
推荐理由：原文点明了 Triton 1.0 面向无 CUDA 经验研究者且性能接近专家水平，读者可据此判断它对 GPU 编程门槛的影响。
#部署/工程
OpenAI News精选AI 评分6666
Hugging Face BlogAI 评分4444 用 Amazon SageMaker 轻松部署 Hugging Face 模型
Hugging Face 推出新的 Inference DLCs 与 SageMaker Hugging Face Inference Toolkit，只需一行代码即可将 Hugging Face Transformers 模型部署到 Amazon SageMaker，或从 Model Hub 的 10,000+ 公开模型中直接选择部署。
Hugging Face BlogAI 评分5050 Hugging Face 教你在 CPU 上扩展 BERT 推理（第一部分）
Hugging Face 发布系列博文第一部分，讲解如何在 CPU 上扩展 BERT 推理，重点覆盖硬件层面的优化。
Hugging Face BlogAI 评分3838 分布式训练：用 🤗 Transformers 和 Amazon SageMaker 对 BART/T5 做摘要任务微调
Hugging Face 与 Amazon SageMaker 合作推出优化的 Deep Learning Containers，通过 SageMaker Python SDK 中的 HuggingFace estimator 可用一行代码启动训练。
Hugging Face BlogAI 评分5555 Hugging Face 与 Amazon 达成战略合作，推出 Amazon SageMaker 深度学习容器
Hugging Face 宣布与 Amazon 达成战略合作，选择 AWS 作为其首选云提供商，并推出新的 Hugging Face Deep Learning Containers（DLCs），让用户在 Amazon SageMaker 中更轻松地训练 Transformers 模型。
Hugging Face BlogAI 评分3838 我在 Google Cloud 上部署 transformers 无服务器情感分析 pipeline 的实践
社区成员 Maxence Dominici 分享了将 transformers 情感分析 pipeline 部署为 Google Cloud 无服务器微服务的实践，用于自动判断 Discord 客户评论正负面。
Hugging Face BlogAI 评分3838 用 Ray 加速 Hugging Face Transformers 的 RAG 分布式微调
Hugging Face Transformers 的 RAG 模型引入 Ray 实现分布式文档检索，单次检索调用较 torch.distributed 提速 2x。
Hugging Face BlogAI 评分4444 Hugging Face 在 Cloud TPU 上用 PyTorch / XLA 训练 Transformer
Hugging Face 与 PyTorch / XLA 集成，让 PyTorch 用户在保持原有 Hugging Face Trainer 接口不变的情况下，在 Cloud TPU 上运行并扩展模型训练。
Hugging Face BlogAI 评分4444 Hugging Face Transformers 提升 TensorFlow 模型速度并部署 TensorFlow Serving 教程
Hugging Face Transformers v4.2.0 将 BERT、RoBERTa、ELECTRA 和 MPNet 的 TensorFlow 模型计算速度提升至比 Google 官方实现快约 10%，且比 4.1.1 版本快一倍。
OpenAI NewsAI 评分4545 OpenAI 将 Kubernetes 扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展到 7,500 节点，为 GPT-3、CLIP、DALL·E 等大模型提供可扩展的基础设施。该集群同样支持快速的小规模迭代研究，例如《Scaling Laws for Neural Language Models》。
Hugging Face BlogAI 评分5555 Hugging Face 教你用 ZeRO 通过 DeepSpeed 和 FairScale 更省显存地训练
Hugging Face 博客介绍如何在 transformers v4.2.0 中通过新增的 --sharded_ddp 和 --deepspeed 参数使用 FairScale 与 DeepSpeed 的 ZeRO 功能。
Hugging Face BlogAI 评分3939 Hugging Face 如何为 🤗 API 客户将 Transformer 推理加速 100 倍
Hugging Face 通过两阶段优化将 🤗 Accelerated Inference API 上的 Transformer 推理整体提速 100 倍。
Hugging Face BlogAI 评分3838 Hugging Face 开源 pytorch_block_sparse：让语言模型更小更快
Hugging Face 发布 pytorch_block_sparse 扩展库，基于 NVIDIA CUTLASS 实现块稀疏矩阵乘法，可作为 torch.nn.Linear 的直接替代，让神经网络更小更快。75% 稀疏度下速度约为稠密矩阵的 2 倍，内存占用降至 1/4；当前稀疏实现比 cuBLAS 优化的稠密版本慢约 2 倍，但已比 PyTorch 原生稀疏实现快一个数量级。
OpenAI NewsAI 评分4444 OpenAI 开源 block-sparse GPU kernels
OpenAI 发布针对 block-sparse 权重神经网络的高性能 GPU kernels，根据所选稀疏度，速度可比 cuBLAS 或 cuSPARSE 快 orders of magnitude。OpenAI 已用其在文本情感分析以及文本和图像生成建模上取得 state-of-the-art 结果。
OpenAI NewsAI 评分1515 OpenAI：深度学习的基础设施
OpenAI 指出深度学习是一门实证科学，团队基础设施的质量是研究进展的乘数。文章认为，如今的开源生态让任何人都能搭建出色的深度学习基础设施。