Hugging Face 宣布将 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度运行，4-bit 量化精度损失可忽略，小 batch 下推理速度接近 fp16 基线，同时支持 Nvidia 与 RoCm AMD GPU。
推荐理由：原文给出了量化位宽、显存与延迟的实测对比，读者可据此判断能否在自己的 GPU 上跑起大模型。
Hugging Face 推出 SafeCoder，一套面向企业的端到端自托管代码助手方案，核心是基于 StarCoder 系列 Code LLM（15B 参数、8,192 tokens 上下文）在客户自有代码库上微调，训练与推理全程代码不出 VPC。
Hugging Face Hub 上线 AWS Marketplace，用户可直接用 AWS 账户订阅并支付 Hugging Face 服务费用，Inference Endpoints、Spaces Hardware Upgrades、AutoTrain 等托管服务的用量费用将自动计入 AWS 账单，而非由 Hugging Face 向组织信用卡扣款。
Hugging Face 通过教程演示如何用 🤗 Transformers、Optimum 和 Accelerate 三个库对 Suno AI 的 TTS 模型 Bark 做推理优化，基线（suno/bark-small）在 5 次迭代下平均延迟 9.38 秒、显存占用 1.91 GB。
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署开源文生图模型 DeepFloyd IF，覆盖模型下载到 Model Store、创建 Service、构建 Bento、容器化部署到 Kubernetes 或 Yatai 的完整流程。
Hugging Face 通过 Inference Endpoints 的 custom handler 机制，让 MusicGen 这类没有现成 pipeline 的模型也能几点击部署上线。
Hugging Face 展示了如何在 Intel Sapphire Rapids CPU 集群上用 textual inversion 微调 Stable Diffusion 模型，只需 5 张示例图片。
Hugging Face Inference Endpoints 是一款托管 SaaS 服务，可通过几次点击将开源 LLM（如 Falcon 40B instruct）部署为生产级 API，支持自动扩缩容、scale-to-zero 降本与 SOC2 Type 2 安全认证。
Hugging Face 与 Writer 联合创始人兼 CTO Waseem Alshikh 对谈，回顾 Writer 从 Hugging Face 用户、客户到开源模型贡献者的历程。
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 时，相比 A100 实现 x2.5 加速，相比 H100 实现 x1.4 加速。
Hugging Face 支持将 Elixir 的 Livebook notebooks 作为应用部署到 Spaces，15 分钟内即可用 Whisper 构建一个仅支持语音消息的聊天应用。
Hugging Face 宣布 AMD 正式加入其 Hardware Partner Program，双方将共同在 AMD CPU 和 GPU 上实现前沿 transformer 模型的性能优化。
Hugging Face 官方博客介绍 Falcon 系列模型（Falcon-40B 与 Falcon-7B，由阿布扎比 Technology Innovation Institute 以 Apache 2.0 许可发布）接入其生态的完整用法。
推荐理由：文章系统梳理了 Falcon 在 Hugging Face 生态中的推理、量化与微调路径，可直接迁移为落地参考。
Hugging Face 推出 LLM Inference Container（DLC），可在 Amazon SageMaker 上部署开源 LLM，底层由 Text Generation Inference（TGI）驱动。
Hugging Face 用 OpenVINO NNCF 的量化感知训练（QAT）结合 Token Merging 优化 Stable Diffusion，相比 PyTorch 实现 5.1x 推理加速和 4x 模型体积缩减。优化仅需 4096 次迭代，用一块 24 GB 显存的 GPU 不到一天即可完成。优化后的模型适合在客户端或边缘 CPU 等算力受限设备上运行。
Hugging Face 与 Microsoft 合作，在 Azure Machine Learning Studio 内原生上线 Hugging Face Model Catalog，收录 Hugging Face Hub 上数千个热门 Transformers 模型，用户只需几次点击即可在托管端点上完成部署。
Hugging Face 与 Intel 推出 Q8-Chat，基于 SmoothQuant 8-bit 量化技术让 LLM 在 Intel CPU 上高效运行，模型体积缩小约 2 倍且精度基本无损。
Hugging Face 给出教程，展示如何在单张 AMD GPU 上通过 ROCm 运行开源聊天机器人 Vicuna 13B。Vicuna 由 UC Berkeley、CMU、Stanford、UC San Diego 团队基于 LLAMA 微调约 70K 条 ShareGPT 对话而成，以 GPT-4 为参照质量达 ChatGPT 的 90% 以上，训练成本约 $300。
Hugging Face 发布教程，演示如何用 🤗 Transformers 配合 TensorFlow 和 TPUStrategy 在 TPU 上从零训练 RoBERTa（base）掩码语言模型。
Hugging Face 与 AWS 合作，将 Hugging Face Transformers 针对 AWS Inferentia2 推理加速器进行优化，通过 optimum-neuron 一行代码即可编译模型，无需切分或修改。
Snorkel AI 与 Hugging Face 合作，通过 Hugging Face Inference Endpoint 服务让 Snorkel Flow 平台接入超过 150,000 个开源模型，帮助企业适配基础模型。
在 Intel Sapphire Rapids CPU 上，Stable Diffusion v1-5 的 float32 推理平均延迟为 32.3 秒，改用 Optimum Intel 与 OpenVINO 并固定 512x512 分辨率后降至 4.7 秒，相比 Ice Lake Xeon 上约 45 秒的原始推理提速近 10x。
Hugging Face 测评显示，BLOOMZ 176B 在 8 卡 Habana Gaudi2 上推理延迟 3.103 秒，比 A100 80GB 快 1.42x；BLOOMZ-7B 更是快 2.89x。
Fetch 通过 AWS Marketplace 上的 Hugging Face Expert Acceleration Program，用自研 AI 模型替换第三方"黑盒"方案，开发时间缩短 30%、处理延迟降低 50%，并以影子管线（shadow pipeline）在不中断业务的情况下完成切换。
Hugging Face 与 AWS 扩大长期战略合作，Hugging Face 将 AWS 作为首选云提供商，借助 Amazon SageMaker、AWS Trainium、AWS Inferentia 让开发者训练、微调和部署模型。
Hugging Face 推出 Inference Endpoints 托管服务，可将 Hub 上几乎任何模型部署到 AWS、Azure 等云的多种实例类型（含 GPU），Hugging Face 自身已将部分 CPU 推理模型从 AWS ECS + Fargate 迁移过来。
Hugging Face 在 Intel Sapphire Rapids 服务器上测试了 Hugging Face Optimum Intel 加速 PyTorch 推理的效果。
Hugging Face 与 Microsoft 的 ONNX Runtime 团队合作，通过 Optimum 库集成 ONNX Runtime 训练，可将许多 Hugging Face 模型的训练时间缩短 35% 以上。
Hugging Face 介绍如何在 AWS 上用 Intel 第四代 Xeon Sapphire Rapids 服务器集群加速 PyTorch 训练，通过 Intel oneAPI CCL 分布式训练并用 IPEX 自动启用 AMX 新指令，代码无需改动。
Hugging Face 用 🤗 Optimum Habana 对比了 Gaudi2、一代 Gaudi 与 Nvidia A100 80GB 的训练和推理性能，Gaudi2 在两项上均约快 2 倍。
OpenAI 超算团队工程师 Christian Gibson 分享了后端系统的细节。
Hugging Face 梳理了从免费到生产级的推理方案：Inference Widget 免费单击试用模型，Inference API 通过 HTTP 请求免费调用 Hub 上任意模型（有速率限制，不建议生产使用）。
Hugging Face 取消 Inference API 的付费层，该服务将对所有人免费开放，同时推出面向企业级推理的新服务 Inference Endpoints，并为 Spaces 增加硬件升级。
Hugging Face 宣布在 Optimum Intel 中加入 Intel OpenVINO，可直接用 OpenVINO Runtime 在各类 Intel 处理器上运行 Transformers 模型推理，并通过 NNCF 量化压缩模型体积与延迟。
Hugging Face 教程以 MNIST 训练为例，分三个抽象层级讲解多 GPU 分布式训练：原生 PyTorch DDP（`pytorch.distributed` 模块）。
Hugging Face 推出 Inference Endpoints，可从 Hugging Face hub 通过几次点击将模型部署到所选云厂商的托管基础设施上。
Hugging Face 分享了为 BLOOM（176B 参数、352GB bf16）构建高效推理服务器的完整过程，数周内实现延迟降低 5 倍、吞吐提升 50 倍。
Hugging Face 官方博客讲解 Accelerate 如何借助 PyTorch 让超大模型在免费 Colab 等消费级硬件上完成加载与推理。文章先指出传统加载流程的内存瓶颈：OPT-6.7B 仅创建模型就需约 26.8GB RAM，BLOOM 或 OPT-176B 这类 176B 参数模型按传统方式需 1.4TB CPU RAM。
Hugging Face Blog 在 8x80GB A100 节点上对比了 Accelerate、DeepSpeed-Inference 和 DeepSpeed ZeRO 三套 BLOOM 176B 推理方案的加载时间与逐 token 吞吐。
Hugging Face 博客给出在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 模型的完整教程，涵盖环境搭建、数据预处理、训练与模型转换到 🤗 Transformers 四个步骤。