Hugging Face：LLM 并发请求下的 Prefill 与 Decode 优化
Hugging Face 博客详解 LLM 并发请求处理中 Prefill（计算首个输出 token，可并行）与 Decode（逐 token 生成，无法并行）两阶段的性能差异及其对延迟、吞吐量和 GPU 利用率的影响。
#部署/工程
Hugging Face BlogAI 评分4545 Hugging Face BlogAI 评分4444 Gradio 为何不只是又一个 UI 库：17 个理由
Gradio 官方博客列出 17 个理由，说明它不只是 UI 库，而是通过 UI 与 API 交互机器学习模型的框架。
Hugging Face Blog精选AI 评分8888 Hugging Face 迎来 Meta Llama 4 Maverick 与 Scout 模型
Hugging Face 官方博客宣布 Meta 新一代 Llama 4 模型上线 Hub：Maverick 约 400B 总参数、128 专家，Scout 约 109B 总参数、16 专家，均为 17B 激活参数的 MoE 架构，支持文本与图像输入，训练数据最多 40 万亿 token、覆盖 200 种语言。
推荐理由：原文拆解了 NoPE、分块注意力等架构选择，读者可理解超长上下文如何实现。
Hugging Face BlogAI 评分5050 Hugging Face 博客：优化 LLM 服务的请求排队与公平调度
Hugging Face 官方博客发布 TNG Technology Consulting 关于 LLM 服务性能系列文章的第一篇，讲解多应用共享 GPU 时的请求排队与调度策略。
Hugging Face BlogAI 评分3636 Hugging Face 如何用 Infisical 扩展 AI 基础设施的密钥管理
Hugging Face 评估 HashiCorp Vault 后选择 Infisical，将密钥管理从 AWS-only 迁移到多云环境（Azure、GCP），并整合 Okta SSO 实现细粒度 RBAC 权限控制。
Hugging Face BlogAI 评分4747 TGI 原生集成 Intel Gaudi 硬件支持
Hugging Face 将 Intel Gaudi 硬件支持原生集成进 Text Generation Inference (TGI)（PR #3091），取代此前独立的 tgi-gaudi fork，基于 TGI 多后端架构直接支持 Gaudi1/2/3。
Hugging Face BlogAI 评分2424 Hugging Face Inference Endpoints 推出全新分析面板
Hugging Face 为 Inference Endpoints 推出全新分析面板，新增实时指标、可自定义时间范围与自动刷新，以及副本生命周期视图。数据实时更新，可即时查看请求延迟、响应时间和错误率；副本视图支持追踪从初始化到终止的每个状态变化。后端也已重构，高流量端点的指标加载更快。
Hugging Face BlogAI 评分5959 Hugging Face 将 Xet 存储上线 Hub 并完成首批仓库迁移
Hugging Face 将首批 Model 和 Dataset 仓库从 LFS 迁移到 Xet 存储，迁移当天共迁移 4.5 TB，约 6% 的 Hub 下载流量转到 Xet 基础设施。
Hugging Face BlogAI 评分5555 Hugging Face 推出 Remote VAEs 远程解码实验功能
Hugging Face 在 Diffusers 中推出实验性 Remote VAEs 功能，把 VAE 解码交给远程 endpoint，缓解高分辨率图像和视频生成时 VAE 解码的显存压力，避免 offload 的传输开销和 tiling 对画质的影响。
Hugging Face BlogAI 评分5656 Hugging Face 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家 Serverless 推理提供商
Hugging Face 在 Hub 上新增 Hyperbolic、Nebius AI Studio 和 Novita 三家 Serverless 推理提供商，与 Together AI、Sambanova、Replicate、fal、Fireworks.ai 等现有伙伴并列，新伙伴带来 DeepSeek-R1、Flux.1 等一批新模型。
Hugging Face BlogAI 评分4545 Fireworks.ai 成为 Hugging Face Hub 推理提供商
Fireworks.ai 正式成为 Hugging Face Hub 的 Inference Provider，可在模型页面及 huggingface_hub 等库中直接调用其 serverless 推理。
Hugging Face BlogAI 评分5858 Hugging Face 博客：10 亿次分类与嵌入推理的成本优化实测
Hugging Face 博客给出一套测算大规模分类与嵌入推理成本和延迟的方法，覆盖硬件选择、部署、负载测试与推理服务四个环节，并开源了代码 https://github.com/datavistics/encoder-analysis。
Hugging Face BlogAI 评分5757 Hugging Face 用 Xet 分块聚合加速 Hub 上传下载
Hugging Face 的 Xet 团队开源 xet-core 和 hf_xet，用基于 Rust 的分块方法替代文件级传输，部分场景下上传下载提速 2-3 倍。
Hugging Face BlogAI 评分5656 Hugging Face 博客：如何在 AWS 上部署和微调 DeepSeek R1 模型
Hugging Face 与 AWS 合作发布持续更新的文档，介绍如何在 AWS 上部署和微调 DeepSeek R1 系列模型。
Hugging Face Blog精选AI 评分6161 Diffusers 梳理开源视频生成模型现状与显存优化方案
Hugging Face Diffusers 团队发文盘点当前开源视频生成模型现状，并给出在 Diffusers 中运行和优化这些模型的方案。
推荐理由：给出了显存实测数据和可组合的优化手段，读者可据此判断在自己硬件上跑开源视频模型的可行性。
Hugging Face BlogAI 评分4545 用 KVPress 掌控 LLM 长上下文：KV Cache 压缩工具包解析
NVIDIA 推出 Python 工具包 KVPress，通过 KnormPress、SnapKVPress、ExpectedAttentionPress 等多种压缩算法（presses）剪枝 KV Cache 中不重要的 KV 对，实现长上下文 LLM 的内存高效推理。
Hugging Face BlogAI 评分3636 Hugging Face 与 FriendliAI 合作，在 Hub 上简化模型部署
Hugging Face 与 FriendliAI 达成合作，将 FriendliAI Endpoints 集成进 Hugging Face Hub 的“Deploy this model”按钮，提供一键部署。
OpenAI NewsAI 评分4444 OpenAI Stargate 基础设施
OpenAI 联合战略合作伙伴宣布推进 AGI 基础设施愿景，寻求与电力、土地、建设、设备等数据中心产业链各环节的企业合作，共同交付其宏大使命。
Hugging Face BlogAI 评分5555 Hugging Face 为 TGI 引入多后端架构，支持 TRT-LLM 与 vLLM
Hugging Face 官方宣布为 Text Generation Inference (TGI) 引入多后端架构，通过统一的前端层集成 vLLM、llama.cpp、TensorRT-LLM 等推理方案，让用户按模型、硬件和性能需求切换后端。
Hugging Face BlogAI 评分5656 Hugging Face 教程：可视化与理解 PyTorch 训练中的 GPU 显存占用
Hugging Face 博客发布教程，讲解如何用 torch.cuda.memory._record_memory_history 记录显存快照并在 pytorch.org/memory_viz 可视化，逐步拆解模型创建、前向传播、反向传播与优化器步骤各阶段的显存变化。
Mistral AIAI 评分4646 Mistral Batch API 上线：批量处理成本降低 50%
Mistral AI 在 La Plateforme 上线 Batch API，批量处理 Mistral 模型请求的成本比同步 API 调用低 50%，适用于优先数据量而非实时响应的场景。
Hugging Face BlogAI 评分4141 Hugging Face 推出 HUGS：零配置开源模型推理微服务
Hugging Face 推出 Hugging Face Generative AI Services（HUGS），一套基于 Text Generation Inference（TGI）的零配置推理微服务，可在自有基础设施上部署开源模型，提供 OpenAI 兼容 API，支持 NVIDIA、AMD GPU，AWS Inferentia 和 Google TPU 即将支持。
Hugging Face BlogAI 评分5555 Hugging Face 官方教程：如何将 Speech-to-Speech 部署到 Inference Endpoints
Hugging Face 官方博客给出将 Speech-to-Speech（S2S）级联语音管线（VAD、STT、LM、TTS，支持英法西中日韩多语言）部署到 Inference Endpoints 的完整步骤。
Hugging Face BlogAI 评分5555 Hugging Face 与 dottxt 发布 outlines-core 0.1.0，用 Rust 实现结构化生成
Hugging Face 与 dottxt 合作发布 outlines-core，即 outlines 结构化生成核心算法的 Rust 移植版本，0.1.0 版 Python 绑定已发布并集成进 outlines。
Hugging Face BlogAI 评分4747 Llama 3.2 in Keras：Keras 从第一天起就支持 Llama 3.2
Keras 从第一天起就支持 Llama 3.2，可通过 keras_hub 直接加载 `hf://meta-llama/Llama-3.2-1B-Instruct` 等 Hugging Face safetensors checkpoint，需要转换时会自动完成。
Hugging Face BlogAI 评分5151 Hugging Face 测评 AMD 第五代 EPYC Turin CPU：LLM 吞吐约 2 倍提升
AMD 发布基于 Zen5 架构的第五代 EPYC 服务器 CPU（代号 Turin），最高 192 核 384 线程，Hugging Face 与 AMD 合作验证了其生态支持。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 Gradio 5 稳定版，主打生产可用的机器学习 Web 应用
Hugging Face 宣布 Gradio 5 稳定版发布，用几行 Python 即可构建高性能、可扩展、符合 Web 安全最佳实践的机器学习应用，升级命令为 pip install --upgrade gradio。
推荐理由：原文逐条对应开发者痛点给出改进方案，读者可据此评估升级到 Gradio 5 的收益与迁移成本。
Hugging Face BlogAI 评分5454 Hugging Face 官方教程：用 Dask 将数据处理扩展到 2.11 亿行
Hugging Face 官方博客展示了如何用 Dask 把基于 FineWeb 数据集的 FineWeb-Edu 分类任务从本地 100 行扩展到云端多 GPU 上的 2.11 亿行。
Hugging Face BlogAI 评分4545 Hugging Face Hub 优化 Parquet 文件去重
Hugging Face Xet 团队针对 Hub 上 Parquet 文件的去重效率展开实验，发现追加操作去重率可达 99.1%（仅需 20MB 额外存储），而修改单行因 Parquet 列头记录绝对文件偏移导致去重率降至 89%（需 230MB），删除行则会因行组重排使后半文件完全重写。
Hugging Face BlogAI 评分4444 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Hugging Face Transformers 模型
Hugging Face 介绍了用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型的完整流程，涵盖导出 OpenVINO IR、权重量化与 GenAI API 部署。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Accelerate 1.0.0 首个候选版本
Hugging Face 官方发布 Accelerate 1.0.0 的首个 release candidate，补齐了 FP8 支持（MS-AMP 与 TransformersEngine）。
OpenAI NewsAI 评分1010 OpenAI：从数百个成功部署中总结的 AI 落地经验
OpenAI 发布了基于数百个成功企业部署案例总结的 AI 落地经验，主题为"Put AI to Work"。原文正文仅提供标题信息，未包含具体案例细节、模型版本、参数规模或 benchmark 数据。
Hugging Face BlogAI 评分5555 Hugging Face Hub 上五个被低估的工具及其语义搜索实战
Hugging Face 官方博客以一个自动更新的语义搜索应用为例，介绍 Hub 上五个常被忽视的工具：ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分5858 Hugging Face 推出 DataCollatorWithFlattening，让无 padding 打包训练兼容 Flash Attention 2
Hugging Face Transformers 新增 DataCollatorWithFlattening，使无 padding 的打包式指令微调训练兼容 Flash Attention 2，通过 flash_attn_varlen_func 计算 cu_seqlens 并保留序列边界，避免跨样本注意力影响收敛。
Hugging Face BlogAI 评分4444 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 教你在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B：用 Text Generation Inference (TGI) 和 Hugging Face Deep Learning Containers。
Hugging Face BlogAI 评分4444 ggml 入门指南
Hugging Face 发布 ggml 入门教程，介绍这款用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。ggml 核心库不到 5 个文件，编译后体积小于 1MB，支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量，被 llama.cpp、ollama、LM Studio 等项目用于端侧 LLM。
Hugging Face BlogAI 评分5656 Hugging Face 教你用 Quanto 和 Diffusers 降低扩散 Transformer 显存占用
Hugging Face 官方博客介绍如何用 Quanto 的量化工具优化 Diffusers 中 Transformer 架构的扩散管线显存占用。
Hugging Face BlogAI 评分4545 Hugging Face 推出 NVIDIA NIM API（serverless）无服务器推理服务
Hugging Face 推出 NVIDIA NIM API（serverless）无服务器推理服务，面向 Enterprise Hub 组织，基于 NVIDIA DGX Cloud 提供 Llama、Mistral 等开源模型的推理 API，兼容 OpenAI SDK，按计算时间计费（H100 GPU $8.25/小时）。
Hugging Face Blog精选AI 评分9393 Hugging Face 官方介绍 Llama 3.1 系列模型及生态集成
Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态，Hub 上提供 8 个开放权重模型（3 个 base 和 5 个微调版本），涵盖 8B、70B、405B 三种尺寸，均支持 128K 上下文窗口和 8 种语言，并新增工具调用能力与更宽松的许可（允许用模型输出改进其他 LLM）。
推荐理由：详细列出三种尺寸的显存需求与量化方案，读者可据此判断自己硬件能否跑起来。
Hugging Face BlogAI 评分5858 Hugging Face TGI 推出 Multi-LoRA serving：一次部署可服务 30 个模型
Hugging Face 官方博客宣布 TGI 新增 Multi-LoRA serving 功能，可在单次部署一个基座模型（如 mistralai/Mistral-7B-v0.1）后，根据请求携带的 adapter_id 动态选择对应 LoRA adapter，实现一次部署服务多个微调模型。