Hugging Face 分享 SDXL 推理的显存与速度优化方法
Hugging Face 官方博客在 A100 40GB 上测试 SDXL 推理优化，未优化管线需 28GB 显存、耗时 72.2 秒，改用 fp16 后降至 21.7GB、14.8 秒，叠加 PyTorch 2.0 的 SDPA 与 torch.compile 后进一步降至约 10.3 秒。
#部署/工程
Hugging Face BlogAI 评分5555
Hugging Face BlogAI 评分5555 Hugging Face 推出 Gradio-lite，让 Gradio 应用纯浏览器运行
Hugging Face 发布 JavaScript 库 @gradio/lite，借助 Pyodide 让 Gradio 应用直接在浏览器中运行，无需服务器端基础设施。
Hugging Face BlogAI 评分3838 ONNX Runtime 加速 Hugging Face 上超过 130,000 个模型
ONNX Runtime 已支持 Hugging Face 上超过 130,000 个 ONNX 模型，覆盖 90 多种模型架构，包括 BERT、GPT2、DistilBERT、Stable-Diffusion、Whisper 等 11 个最热门架构。以 whisper-tiny 为例，使用 ONNX Runtime 加速后，单次推理平均延迟相比 PyTorch 最高可降低 74.30%。
Hugging Face BlogAI 评分4747 Hugging Face Diffusers 支持在 Cloud TPU v5e 上用 JAX 推理 Stable Diffusion XL
Hugging Face Diffusers 现已支持用 JAX 在 Google Cloud TPU 上服务 Stable Diffusion XL（SDXL），实现高性能、低成本推理。
Hugging Face BlogAI 评分4141 使用 Inference API 部署 AI Comic Factory 教程
Hugging Face 发布教程，指导用户 fork 并配置 AI Comic Factory Space，通过 Inference API 部署到自己的私有 Space 以避免排队等待。
Hugging Face BlogAI 评分4444 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 测试了 Llama 2 7B、13B、70B 在 Amazon SageMaker 上 60 多种部署配置的延迟与吞吐表现，覆盖 g5.2xlarge、g5.12xlarge、g5.48xlarge、p4d.24xlarge 四种实例与 1、5、10、20 并发请求。
Hugging Face BlogAI 评分3636 Rocket Money 如何用 Hugging Face Inference API 在生产环境扩展 ML 模型
Rocket Money 用 BERT 系列模型替换正则表达式系统，对 4000+ 类别的交易字符串做文本分类，并选择 Hugging Face Inference API 托管模型。
Hugging Face Blog精选AI 评分6262 Hugging Face 教程：生产环境优化 LLM 的三类技术与实测数据
Hugging Face 官方博客给出生产环境优化 LLM 的三类技术并附实测：低精度量化、Flash Attention 与面向长文本的架构改进。
推荐理由：原文用同一模型的实测显存与耗时数据，把量化、Flash Attention 和 KV cache 优化的取舍讲得可直接迁移。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Würstchen：42x 空间压缩的快速文生图扩散模型
Hugging Face 发布 Würstchen 扩散模型，其文本条件组件在高度压缩的图像潜在空间中工作，实现 42x 空间压缩，通过 Stage A（VQGAN）、Stage B（Diffusion Autoencoder）与 Stage C（Prior）三阶段设计，训练与推理成本大幅降低。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 PyTorch FSDP 微调 Llama 2 70B
Hugging Face 官方博客给出用 PyTorch FSDP、Transformers、Accelerate 和 TRL 在多机多卡环境微调 Llama 2 70B 的完整实践，训练约 13.5 小时完成。
Hugging Face BlogAI 评分5555 Hugging Face Transformers 原生支持的量化方案对比：bitsandbytes 与 auto-gptq
Hugging Face 官方博客系统对比了 Transformers 原生支持的 bitsandbytes 与 auto-gptq 两种量化方案的优劣，并给出推理与微调的基准测试。
Hugging Face BlogAI 评分1818 Fetch 借助 Amazon SageMaker 与 Hugging Face 将 ML 处理延迟降低 50%
Fetch 借助 Amazon SageMaker 与 Hugging Face 优化机器学习流水线，将最慢扫描的延迟降低 50%，文档理解模型准确率提升 200%。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 Diffusers 四项优化把 AudioLDM 2 推理从 14 秒降到 1 秒内
Hugging Face 官方博客演示如何在 🧨 Diffusers 中优化 AudioLDM 2 的推理速度，通过 flash attention（SDPA）。
Hugging Face Blog精选AI 评分6464 Hugging Face 将 AutoGPTQ 集成进 Transformers，支持 8/4/3/2-bit 量化
Hugging Face 宣布将 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度运行，4-bit 量化精度损失可忽略，小 batch 下推理速度接近 fp16 基线，同时支持 Nvidia 与 RoCm AMD GPU。
推荐理由：原文给出了量化位宽、显存与延迟的实测对比，读者可据此判断能否在自己的 GPU 上跑起大模型。
Hugging Face BlogAI 评分4444 Hugging Face 推出 SafeCoder：面向企业的自托管代码助手方案
Hugging Face 推出 SafeCoder，一套面向企业的端到端自托管代码助手方案，核心是基于 StarCoder 系列 Code LLM（15B 参数、8,192 tokens 上下文）在客户自有代码库上微调，训练与推理全程代码不出 VPC。
Hugging Face BlogAI 评分3636 Hugging Face Hub 上线 AWS Marketplace，可用 AWS 账户付费
Hugging Face Hub 上线 AWS Marketplace，用户可直接用 AWS 账户订阅并支付 Hugging Face 服务费用，Inference Endpoints、Spaces Hardware Upgrades、AutoTrain 等托管服务的用量费用将自动计入 AWS 账单，而非由 Hugging Face 向组织信用卡扣款。
Hugging Face BlogAI 评分4545 用 🤗 Transformers 优化 Bark：三种推理优化实测
Hugging Face 通过教程演示如何用 🤗 Transformers、Optimum 和 Accelerate 三个库对 Suno AI 的 TTS 模型 Bark 做推理优化，基线（suno/bark-small）在 5 次迭代下平均延迟 9.38 秒、显存占用 1.91 GB。
Hugging Face BlogAI 评分3838 用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 博客演示了如何用开源模型服务框架 BentoML 部署开源文生图模型 DeepFloyd IF，覆盖模型下载到 Model Store、创建 Service、构建 Bento、容器化部署到 Kubernetes 或 Yatai 的完整流程。
Hugging Face BlogAI 评分4141 用 Inference Endpoints 快速部署 MusicGen
Hugging Face 通过 Inference Endpoints 的 custom handler 机制，让 MusicGen 这类没有现成 pipeline 的模型也能几点击部署上线。
Hugging Face BlogAI 评分4444 在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了如何在 Intel Sapphire Rapids CPU 集群上用 textual inversion 微调 Stable Diffusion 模型，只需 5 张示例图片。
Hugging Face BlogAI 评分4141 使用 Hugging Face Inference Endpoints 部署 LLM 教程
Hugging Face Inference Endpoints 是一款托管 SaaS 服务，可通过几次点击将开源 LLM（如 Falcon 40B instruct）部署为生产级 API，支持自动扩缩容、scale-to-zero 降本与 SOC2 Type 2 安全认证。
Hugging Face BlogAI 评分1818 Hugging Face 对话 Writer CTO：从用户到开源模型贡献者
Hugging Face 与 Writer 联合创始人兼 CTO Waseem Alshikh 对谈，回顾 Writer 从 Hugging Face 用户、客户到开源模型贡献者的历程。
Hugging Face BlogAI 评分4141 BridgeTower 在 Habana Gaudi2 上的加速：视觉-语言模型微调基准测试
Optimum Habana v1.7 在 Habana Gaudi2 上微调 BridgeTower 时，相比 A100 实现 x2.5 加速，相比 H100 实现 x1.4 加速。
Hugging Face BlogAI 评分3838 将 Livebook notebooks 作为应用部署到 Hugging Face Spaces
Hugging Face 支持将 Elixir 的 Livebook notebooks 作为应用部署到 Spaces，15 分钟内即可用 Whisper 构建一个仅支持语音消息的聊天应用。
Hugging Face BlogAI 评分4545 Hugging Face 与 AMD 合作，加速 CPU 和 GPU 平台上的前沿模型
Hugging Face 宣布 AMD 正式加入其 Hardware Partner Program，双方将共同在 AMD CPU 和 GPU 上实现前沿 transformer 模型的性能优化。
Hugging Face Blog精选AI 评分6565 Falcon 系列模型接入 Hugging Face 生态并提供完整推理与微调指南
Hugging Face 官方博客介绍 Falcon 系列模型（Falcon-40B 与 Falcon-7B，由阿布扎比 Technology Innovation Institute 以 Apache 2.0 许可发布）接入其生态的完整用法。
推荐理由：文章系统梳理了 Falcon 在 Hugging Face 生态中的推理、量化与微调路径，可直接迁移为落地参考。
Hugging Face BlogAI 评分4949 Hugging Face 推出 LLM Inference Container 用于 Amazon SageMaker 部署
Hugging Face 推出 LLM Inference Container（DLC），可在 Amazon SageMaker 上部署开源 LLM，底层由 Text Generation Inference（TGI）驱动。
Hugging Face BlogAI 评分4444 用 NNCF 和 🤗 Optimum 优化 Stable Diffusion 在 Intel CPU 上的推理
Hugging Face 用 OpenVINO NNCF 的量化感知训练（QAT）结合 Token Merging 优化 Stable Diffusion，相比 PyTorch 实现 5.1x 推理加速和 4x 模型体积缩减。优化仅需 4096 次迭代，用一块 24 GB 显存的 GPU 不到一天即可完成。优化后的模型适合在客户端或边缘 CPU 等算力受限设备上运行。
Hugging Face BlogAI 评分4545 Hugging Face 与 Microsoft 合作在 Azure Machine Learning 上线 Hugging Face Model Catalog
Hugging Face 与 Microsoft 合作，在 Azure Machine Learning Studio 内原生上线 Hugging Face Model Catalog，收录 Hugging Face Hub 上数千个热门 Transformers 模型，用户只需几次点击即可在托管端点上完成部署。
Hugging Face BlogAI 评分4444 Q8-Chat：在 Xeon 上实现高效生成式 AI 体验
Hugging Face 与 Intel 推出 Q8-Chat，基于 SmoothQuant 8-bit 量化技术让 LLM 在 Intel CPU 上高效运行，模型体积缩小约 2 倍且精度基本无损。
Hugging Face BlogAI 评分4444 如何在单张 AMD GPU 上用 ROCm 运行类 ChatGPT 聊天机器人
Hugging Face 给出教程，展示如何在单张 AMD GPU 上通过 ROCm 运行开源聊天机器人 Vicuna 13B。Vicuna 由 UC Berkeley、CMU、Stanford、UC San Diego 团队基于 LLAMA 微调约 70K 条 ShareGPT 对话而成，以 GPT-4 为参照质量达 ChatGPT 的 90% 以上，训练成本约 $300。
Hugging Face BlogAI 评分4545 用 🤗 Transformers 结合 TensorFlow 和 TPU 从零训练语言模型
Hugging Face 发布教程，演示如何用 🤗 Transformers 配合 TensorFlow 和 TPUStrategy 在 TPU 上从零训练 RoBERTa（base）掩码语言模型。
Hugging Face BlogAI 评分4444 用 AWS Inferentia2 加速 Hugging Face Transformers
Hugging Face 与 AWS 合作，将 Hugging Face Transformers 针对 AWS Inferentia2 推理加速器进行优化，通过 optimum-neuron 一行代码即可编译模型，无需切分或修改。
Hugging Face BlogAI 评分3434 Snorkel AI x Hugging Face：让企业用上基础模型
Snorkel AI 与 Hugging Face 合作，通过 Hugging Face Inference Endpoint 服务让 Snorkel Flow 平台接入超过 150,000 个开源模型，帮助企业适配基础模型。
Hugging Face BlogAI 评分4444 在 Intel CPU 上加速 Stable Diffusion 推理
在 Intel Sapphire Rapids CPU 上，Stable Diffusion v1-5 的 float32 推理平均延迟为 32.3 秒，改用 Optimum Intel 与 OpenVINO 并固定 512x512 分辨率后降至 4.7 秒，相比 Ice Lake Xeon 上约 45 秒的原始推理提速近 10x。
Hugging Face BlogAI 评分4444 BLOOMZ 在 Habana Gaudi2 加速器上的大语言模型快速推理
Hugging Face 测评显示，BLOOMZ 176B 在 8 卡 Habana Gaudi2 上推理延迟 3.103 秒，比 A100 80GB 快 1.42x；BLOOMZ-7B 更是快 2.89x。
Hugging Face BlogAI 评分3333 Fetch 借助 Hugging Face on AWS 整合 AI 工具，节省 30% 开发时间
Fetch 通过 AWS Marketplace 上的 Hugging Face Expert Acceleration Program，用自研 AI 模型替换第三方"黑盒"方案，开发时间缩短 30%、处理延迟降低 50%，并以影子管线（shadow pipeline）在不中断业务的情况下完成切换。
Hugging Face BlogAI 评分4444 Hugging Face 与 AWS 扩大长期战略合作，让 AI 更易获取
Hugging Face 与 AWS 扩大长期战略合作，Hugging Face 将 AWS 作为首选云提供商，借助 Amazon SageMaker、AWS Trainium、AWS Inferentia 让开发者训练、微调和部署模型。
Hugging Face BlogAI 评分4949 为什么我们改用 Hugging Face Inference Endpoints，也许你也该考虑
Hugging Face 推出 Inference Endpoints 托管服务，可将 Hub 上几乎任何模型部署到 AWS、Azure 等云的多种实例类型（含 GPU），Hugging Face 自身已将部分 CPU 推理模型从 AWS ECS + Fargate 迁移过来。
Hugging Face BlogAI 评分3636 用 Intel Sapphire Rapids 加速 PyTorch 推理（第二部分）
Hugging Face 在 Intel Sapphire Rapids 服务器上测试了 Hugging Face Optimum Intel 加速 PyTorch 推理的效果。