Hugging Face Transformers 推出 KV Cache 量化功能
Hugging Face 在 Transformers 中推出 KV Cache Quantization 功能，通过降低 KV cache 数值精度显著减少长上下文生成的内存占用，支持更长生成而不易耗尽显存。
#部署/工程
Hugging Face BlogAI 评分5757
Hugging Face BlogAI 评分3333 Hugging Face Enterprise Hub 支持通过 AWS 账号订阅
Hugging Face Enterprise Hub 现已支持通过 AWS 账号在 AWS Marketplace 完成订阅，账单由 AWS 账户直接管理，定价与 Hugging Face 公开定价一致。
Hugging Face BlogAI 评分3636 如何用 Intel Gaudi 2 和 Intel Xeon 构建高性价比的企业级 RAG 应用
Hugging Face 与 Intel 演示了如何基于 OPEA 平台，用 Intel Gaudi 2 加速器和 Xeon CPU 构建高性价比的企业级 RAG 应用。
Hugging Face BlogAI 评分5454 Hugging Face 教程：在 Inference Endpoints 上部署 Whisper ASR、说话人分离与投机解码管线
Hugging Face 官方博客介绍如何用自定义 inference handler 在 Inference Endpoints 上部署 Whisper ASR、Pyannote 说话人分离与投机解码的组合管线，代码拆分为 handler.py、diarization_utils.py 和 config.py 三个文件。
Hugging Face BlogAI 评分4444 Hugging Face Endpoints 上运行隐私保护推理（Zama 客座教程）
Zama 在 Hugging Face 上提供预编译的 Concrete ML 模型，用户可通过 Hugging Face Endpoints 和 custom inference handlers 一键部署全同态加密（FHE）隐私保护推理。
Hugging Face BlogAI 评分2828 Ryght 借助 Hugging Face Expert Support 打造医疗与生命科学生成式 AI 平台
Ryght 正式推出面向医疗与生命科学领域的生成式 AI 平台 Ryght Preview，现已向所有用户公开可用。
Hugging Face BlogAI 评分4545 Gradio reload mode 如何快速构建 AI 应用
Gradio 的 reload mode 让开发者用 `gradio app.py` 启动应用后，源码改动即时生效、无需重启服务器，UI 更新瞬间可见。相比 uvicorn 自带的自动重载，它支持选择性重载，可用 `if gr.NO_RELOAD:` 标记不需重载的代码（如已加载的 AI 模型或 InferenceClient），避免每次改动都重新加载模型。
Hugging Face BlogAI 评分4747 Hugging Face 推出 Deploy on Google Cloud，让数千个开源 LLM 轻松部署到 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud 集成，支持将数千个基础模型通过 Vertex AI 或 GKE 一键部署为 API Endpoint，推理由 Text Generation Inference 提供支持。
Hugging Face BlogAI 评分4444 用 🤗 Optimum Intel 在 Xeon 上实现 7.8 倍加速的 SetFit 推理
Hugging Face 展示了如何用 🤗 Optimum Intel 将 SetFit 模型在 Intel Xeon CPU 上的推理速度提升 7.8 倍，通过 Intel Neural Compressor 对模型主体做 post-training static quantization（PTQ）即可实现。
Hugging Face BlogAI 评分4141 Hugging Face 推出 Deploy on Cloudflare Workers AI：开源模型的 serverless GPU 推理
Hugging Face 与 Cloudflare 联合推出 Deploy on Cloudflare Workers AI 集成，让开发者无需管理 GPU 基础设施即可通过 serverless API 调用热门开源模型，按请求付费。
Hugging Face BlogAI 评分5555 Hugging Face 教你在 Intel Meteor Lake 笔记本上运行 Phi-2 聊天机器人
Hugging Face 通过 Optimum Intel 集成 Intel OpenVINO，将 2.7B 参数的 Phi-2 模型做 4-bit 权重量化，在搭载 Core Ultra 7 155H 的中端笔记本上运行本地推理。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Train on DGX Cloud 服务，可在 Hub 内用 H100 微调模型
Hugging Face 宣布推出 Train on DGX Cloud 服务，面向 Enterprise Hub 组织，可在 Hub 内通过几次点击使用 NVIDIA H100 微调 Llama、Mistral、Stable Diffusion 等模型，由 AutoTrain 和 Spaces 提供无代码训练体验。
Hugging Face BlogAI 评分5555 Hugging Face 推出 PyTorch 量化后端 quanto 并集成进 transformers
Hugging Face 发布 quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8、float8 权重与 int8、float8 激活，可在 CUDA、CPU、MPS 任意设备上运行，并提供从浮点模型到动态/静态量化模型的完整工作流。
Hugging Face BlogAI 评分5454 用 Optimum Intel 和 fastRAG 在 CPU 上优化 BGE 嵌入模型
Hugging Face 官方博客展示了如何用 Optimum Intel、Intel Neural Compressor 和 IPEX 对 BGE small/base/large（45M/110M/355M 参数）做 int8 静态量化。
Hugging Face BlogAI 评分2828 在 Intel® Gaudi® 2 AI 加速器上运行 Llama 2 文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 的自定义 GaudiTextGenerationPipeline 在 Intel® Gaudi® 2 上以几行代码运行 Llama 2（7b、13b、70b）文本生成，涵盖预处理与后处理。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 完成全生态集成
Google 发布开源大模型系列 Gemma，包含 7B 和 2B 两种参数规模、各有 base 与 instruction-tuned 版本，共 4 个开放模型上线 Hugging Face Hub。
推荐理由：文章给出各尺寸模型的跑分对照和单卡微调命令，读者可据此判断在自有硬件上落地的可行性。
Hugging Face BlogAI 评分4444 Hugging Face Text Generation Inference 正式登陆 AWS Inferentia2 与 Amazon SageMaker
Hugging Face 宣布 Text Generation Inference (TGI) 正式在 AWS Inferentia2 和 Amazon SageMaker 上可用，为生产级 LLM 部署提供 GPU 之外的可行替代方案。
Hugging Face BlogAI 评分4747 用 🤗 Optimum Intel 在 Xeon 上加速 StarCoder：Q8/Q4 与投机解码
Hugging Face 在 Intel 第 4 代 Xeon 上通过 8bit/4bit 量化与投机解码（assisted generation）将 StarCoder-15B 推理加速 7 倍以上。
Hugging Face BlogAI 评分5151 Hugging Face 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 博客介绍如何用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理，在所有测试的 batch size 与步数组合上 ONNX Runtime 都优于 PyTorch，SDXL Turbo 吞吐提升最高达 229%、SD Turbo 达 120%。
Hugging Face BlogAI 评分5858 Hugging Face 教程：用 Gradio 把 ComfyUI 工作流免费跑在 Spaces ZeroGPU 上
Hugging Face 官方教程分步讲解如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU serverless 环境免费推理。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 Speculative Decoding 让 Whisper 推理提速 2 倍
Hugging Face 博客演示如何用 Speculative Decoding 把 Whisper 推理时间缩短为原来的 1/2，且数学上保证输出与原模型完全一致，可直接替换现有 Whisper 流程。
Hugging Face BlogAI 评分5555 Hugging Face 宣布 Transformers 模型在 AMD Instinct GPU 上免改代码运行并支持 TGI
Hugging Face 宣布 Transformers 模型和任务现已可在 AMD Instinct GPU 上免改代码运行，并在 Text Generation Inference（TGI）中加入对 AMD Instinct MI210 和 MI250 的初始支持。
Hugging Face BlogAI 评分5555 Hugging Face 发布 Optimum-NVIDIA 推理库，单行代码改动提速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 即可获得最高 28x 吞吐提升和 1,200 tokens/second 的推理速度。
Hugging Face BlogAI 评分5656 Hugging Face 让 LoRA 推理提速 300%，冷启动从 25s 降到 3s
Hugging Face 在 Inference API 中实现 LoRA 动态加载，保持 Stable Diffusion 基础模型常驻热态、按请求切换适配器，把预热时间从 25s 降到 3s，用户响应时间从 35s 降到 13s，用不到 5 张 A10G 即可服务数百个不同 LoRA。
Hugging Face BlogAI 评分4444 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 通过 optimum-neuron 支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成，只需将模型编译导出为 Neuron 格式即可用 transformers 库或 pipeline 生成文本。
Hugging Face BlogAI 评分3838 Hugging Face Hub 推出 Storage Regions 存储区域功能
Hugging Face 为 Enterprise Hub 计划推出 Storage Regions 功能，允许组织选择模型和数据集的存储位置，目前支持 US 和 EU，Asia-Pacific 即将推出。
Hugging Face BlogAI 评分4444 使用 Hugging Face Inference Endpoints 部署 Embedding 模型
Hugging Face 介绍如何用 Text Embedding Inference（TEI）把开源 Embedding 模型部署到 Inference Endpoints，TEI 支持 MTEB 排行榜前 10 的模型，含 FlagEmbedding、GTE、E5 等。
Hugging Face BlogAI 评分5555 Hugging Face 分享 SDXL 推理的显存与速度优化方法
Hugging Face 官方博客在 A100 40GB 上测试 SDXL 推理优化，未优化管线需 28GB 显存、耗时 72.2 秒，改用 fp16 后降至 21.7GB、14.8 秒，叠加 PyTorch 2.0 的 SDPA 与 torch.compile 后进一步降至约 10.3 秒。
Hugging Face BlogAI 评分5555 Hugging Face 推出 Gradio-lite，让 Gradio 应用纯浏览器运行
Hugging Face 发布 JavaScript 库 @gradio/lite，借助 Pyodide 让 Gradio 应用直接在浏览器中运行，无需服务器端基础设施。
Hugging Face BlogAI 评分3838 ONNX Runtime 加速 Hugging Face 上超过 130,000 个模型
ONNX Runtime 已支持 Hugging Face 上超过 130,000 个 ONNX 模型，覆盖 90 多种模型架构，包括 BERT、GPT2、DistilBERT、Stable-Diffusion、Whisper 等 11 个最热门架构。以 whisper-tiny 为例，使用 ONNX Runtime 加速后，单次推理平均延迟相比 PyTorch 最高可降低 74.30%。
Hugging Face BlogAI 评分4747 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 推理 Stable Diffusion XL
Hugging Face Diffusers 现已支持用 JAX 在 Google Cloud TPU 上服务 Stable Diffusion XL（SDXL），实现高性能、低成本推理。
Hugging Face BlogAI 评分4141 使用 Inference API 部署 AI Comic Factory 教程
Hugging Face 发布教程，指导用户 fork 并配置 AI Comic Factory Space，通过 Inference API 部署到自己的私有 Space 以避免排队等待。
Hugging Face BlogAI 评分4444 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 测试了 Llama 2 7B、13B、70B 在 Amazon SageMaker 上 60 多种部署配置的延迟与吞吐表现，覆盖 g5.2xlarge、g5.12xlarge、g5.48xlarge、p4d.24xlarge 四种实例与 1、5、10、20 并发请求。
Hugging Face BlogAI 评分3636 Rocket Money 如何用 Hugging Face Inference API 在生产环境扩展 ML 模型
Rocket Money 用 BERT 系列模型替换正则表达式系统，对 4000+ 类别的交易字符串做文本分类，并选择 Hugging Face Inference API 托管模型。
Hugging Face Blog精选AI 评分6262 Hugging Face 教程：生产环境优化 LLM 的三类技术与实测数据
Hugging Face 官方博客给出生产环境优化 LLM 的三类技术并附实测：低精度量化、Flash Attention 与面向长文本的架构改进。
推荐理由：原文用同一模型的实测显存与耗时数据，把量化、Flash Attention 和 KV cache 优化的取舍讲得可直接迁移。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Würstchen：42x 空间压缩的快速文生图扩散模型
Hugging Face 发布 Würstchen 扩散模型，其文本条件组件在高度压缩的图像潜在空间中工作，实现 42x 空间压缩，通过 Stage A（VQGAN）、Stage B（Diffusion Autoencoder）与 Stage C（Prior）三阶段设计，训练与推理成本大幅降低。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 官方博客给出用 PyTorch FSDP、Transformers、Accelerate 和 TRL 在多机多卡环境微调 Llama 2 70B 的完整实践，训练约 13.5 小时完成。
Hugging Face BlogAI 评分5555 Hugging Face Transformers 原生支持的量化方案对比：bitsandbytes 与 auto-gptq
Hugging Face 官方博客系统对比了 Transformers 原生支持的 bitsandbytes 与 auto-gptq 两种量化方案的优劣，并给出推理与微调的基准测试。
Hugging Face BlogAI 评分1818 Fetch 借助 Amazon SageMaker 与 Hugging Face 将 ML 处理延迟降低 50%
Fetch 借助 Amazon SageMaker 与 Hugging Face 优化机器学习流水线，将最慢扫描的延迟降低 50%，文档理解模型准确率提升 200%。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 Diffusers 四项优化把 AudioLDM 2 推理从 14 秒降到 1 秒内
Hugging Face 官方博客演示如何在 🧨 Diffusers 中优化 AudioLDM 2 的推理速度，通过 flash attention（SDPA）。