Hugging Face 教程：从零构建并规模化生产可用的 CUDA kernel
Hugging Face 官方博客给出使用 kernel-builder 库从零构建 CUDA kernel 的完整教程，以 RGB 转灰度图为例，演示项目结构。
#部署/工程
Hugging Face BlogAI 评分5656
Hugging Face BlogAI 评分4949 Accelerate ND-Parallel：高效多 GPU 训练指南
Hugging Face 在 Accelerate 中通过 ParallelismConfig 类支持任意组合 DP、FSDP、Tensor Parallel、Context Parallel 等并行策略，并同步集成进 Axolotl，配置只需在 config 文件中添加 dp_shard_size、tensor_parallel_size 等字段。
Hugging Face Blog精选AI 评分9292 Hugging Face 欢迎 OpenAI 开源 gpt-oss 模型家族并给出部署指南
Hugging Face 发布博客介绍 OpenAI 新开源的 gpt-oss 模型家族，包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b，均为 MoE 架构并采用 MXFP4 4-bit 量化，采用 Apache 2.0 许可，120B 可装入单张 H100，20B 可在 16GB 显存内运行。
推荐理由：系统梳理了 gpt-oss 在不同硬件上的推理优化选择，可直接作为本地部署的参考。
OpenAI NewsAI 评分4444 OpenAI 推出 Stargate Norway：欧洲首个 AI 数据中心
OpenAI 宣布启动 Stargate Norway，这是其 OpenAI for Countries 计划下在欧洲的首个 AI 数据中心项目。Stargate 是 OpenAI 的整体基础设施平台，也是其长期愿景中让所有人受益于 AI 的关键部分。
OpenAI NewsAI 评分1818 Intercom 打造可持续 AI 优势的三个经验
Intercom 分享了构建可扩展 AI 平台的三个关键经验，涵盖从评估（evaluations）到架构设计，以在客户支持领域保持领先。文章由 OpenAI News 发布，聚焦 AI 平台的可持续优势建设路径。
Hugging Face BlogAI 评分5454 Hugging Face CLI 正式更名为 hf 并新增 hf jobs 命令
Hugging Face 官方宣布 CLI 从 huggingface-cli 正式更名为 hf，命令结构改为 hf <resource> <action> 格式，认证相关命令统一归入 hf auth（如 hf auth login、hf auth whoami、hf auth logout），旧版 huggingface-cli 仍可继续使用但会提示弃用警告。
Hugging Face BlogAI 评分5656 Hugging Face 分享 Flux LoRA 推理加速方案，H100 上提速 2.23 倍
Hugging Face 官方博客介绍了在 Diffusers 和 PEFT 中优化 Flux.1-Dev 模型 LoRA 推理速度的方案，通过 Flash Attention 3、torch.compile、FP8 量化和支持热交换的加载方式，在 H100 上相比基线取得 2.23 倍加速。
Hugging Face BlogAI 评分5555 NVIDIA NIM 支持在 Hugging Face 上部署超 10 万个 LLM
NVIDIA 宣布 NIM 推理微服务现可在 Hugging Face 上快速部署超过 100,000 个 LLM。单个 NIM docker 容器支持 NVIDIA TensorRT-LLM、vLLM 和 SGLang 等推理框架，会自动完成模型格式识别、架构与量化格式检测、后端选择和性能配置，无需手动调优。
Hugging Face Blog精选AI 评分6161 Hugging Face 将 Hub 存储从 Git LFS 迁移至 Xet 并向全部用户开放
Hugging Face 宣布将 Hub 存储从 Git LFS 迁移至 Xet，6 个月内已有 500,000 个仓库、20 PB 数据完成迁移，超过 100 万人在使用 Xet，5 月起成为新用户和组织的默认选项。
推荐理由：原文拆解了无感迁移的桥接与后台同步机制，可迁移借鉴其平滑迁移方案。
Hugging Face BlogAI 评分5656 Hugging Face 博客详解机器人异步推理：解耦动作预测与执行
Hugging Face 官方博客介绍异步推理方案，将策略推理与动作执行拆分到 PolicyServer 和 RobotClient 两个进程，通过 gRPC 通信，让机器人在推理期间继续执行当前动作队列，消除空闲等待。
Hugging Face BlogAI 评分5858 Hugging Face 与 AMD 合作为 MI300X 打造 Llama 3.1 405B FP8 推理优化 kernel
Hugging Face 与 AMD 合作开源了针对 8 MI300X 节点上用 VLLM 跑 Llama 3.1 405B FP8 推理的优化 kernel，代码发布在 hf-rocm-kernels 仓库。
Hugging Face BlogAI 评分4444 Hugging Face 生产基础设施的三大关键告警
Hugging Face 基础设施团队详解支撑其生产环境的三大关键告警：NAT Gateway 出口流量阈值告警、Hub 请求日志归档成功率告警，以及第三项告警。日志管线由 Filebeat 采集、Logstash 富化（含 GeoIP）、Elasticsearch 存储构成，告警用于在问题演变为重大事故前及时发现并响应，保障平台稳定性与可用性。
Hugging Face BlogAI 评分4747 SGLang 集成 Hugging Face transformers 作为后端
SGLang 现已支持将 Hugging Face transformers 作为后端，可开箱运行任何 transformers 兼容模型的高性能推理，遇到 SGLang 原生不支持的模型时会自动回退到 transformers 实现，也可通过 `impl="transformers"` 显式指定。
Hugging Face BlogAI 评分5555 Groq 加入 Hugging Face Inference Providers
Groq 现已作为 Inference Providers 支持的推理提供商上线 Hugging Face Hub，可在模型页面直接调用，并已集成到 JS 和 Python 客户端 SDK。
Hugging Face BlogAI 评分5454 长提示词如何阻塞其他请求：vLLM 下的 LLM 性能优化分析
TNG 在自托管的 24 张 H100 集群上为 50 多个应用提供 LLM 服务，日处理超 1 亿输入 token、生成超 1000 万输出 token，文章分析了长提示词如何阻塞 prefill 队列并拖慢并发 decode。
Hugging Face BlogAI 评分4646 Featherless AI 成为 Hugging Face Inference Providers 新增推理服务商
Featherless AI 正式成为 Hugging Face Hub 的 Inference Providers 服务商，支持 DeepSeek、Meta、Google、Qwen 等大量开源文本与对话模型，以 serverless 定价提供超大模型目录。
Hugging Face BlogAI 评分5555 Hugging Face 推出 Kernel Hub：一行代码加载预编译优化 kernel
Hugging Face 官方博客介绍 Kernel Hub，让 Python 库和应用通过 kernels 库的 get_kernel 直接从 Hub 加载预编译的优化计算 kernel，覆盖 FlashAttention、量化、MoE、激活函数与归一化等场景。
Mistral AIAI 评分5656 Mistral AI 发布 Mistral Compute 私有AI基础设施
Mistral AI 宣布推出 Mistral Compute，这是一套面向客户的私有集成AI基础设施，涵盖 GPU、编排、API、产品与服务，形态从裸金属服务器到全托管 PaaS。
Hugging Face BlogAI 评分5858 Hugging Face 与 NVIDIA 合作推出 Training Cluster as a Service
Hugging Face 在 GTC Paris 宣布与 NVIDIA 合作推出 Training Cluster as a Service，让全球研究机构按需申请 GPU 集群、只为训练时长付费，Hugging Face 上 250,000 家组织均可在 hf.co/training-cluster 提交申请。
Hugging Face BlogAI 评分4545 Dell Enterprise Hub 发布新版：一站式在本地部署 AI 模型与应用
Dell 在 Dell Tech World 宣布推出新版 Dell Enterprise Hub，提供 Meta Llama 4 Maverick、DeepSeek R1、Google Gemma 3 等模型的容器化部署方案，支持 NVIDIA H100/H200、AMD MI300X、Intel Gaudi 3 硬件。
OpenAI NewsAI 评分4646 OpenAI 推出 Stargate UAE
OpenAI 推出 Stargate UAE，这是其 AI 基础设施平台 Stargate 的首个国际部署。
Hugging Face BlogAI 评分5555 Hugging Face Diffusers 量化后端实测对比：BnB、torchao、Quanto、GGUF 与 FP8
Hugging Face 官方博客以 Flux-dev（BF16 加载约 31.447 GB）为例，实测 Diffusers 集成的 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 五种量化后端的显存与推理表现。
Hugging Face BlogAI 评分5454 Hugging Face 与 Microsoft 扩大合作，Azure AI Foundry 上线 10,000+ 开源模型
在 Microsoft Build 大会上，Satya Nadella 宣布 Microsoft 与 Hugging Face 扩大合作，Azure AI Foundry 的 Model Catalog 中现已可找到 10,000+ 个 Hugging Face 模型，覆盖文本、音频和图像任务，可几次点击完成部署。
Hugging Face Blog精选AI 评分6060 Hugging Face Transformers 将标准化模型定义，降低跨框架贡献门槛
Hugging Face 宣布 Transformers 将成为跨框架的模型定义枢纽：只要模型架构被 transformers 支持，就预期在生态其他部分同样被支持。
推荐理由：原文说明了 Transformers 作为模型定义标准如何打通训练、推理与本地部署链路，读者可据此理解生态碎片化的应对方式。
Hugging Face BlogAI 评分5555 Hugging Face Inference Endpoints 推出 Whisper 快速部署方案，性能提升至高 8 倍
Hugging Face 在 Inference Endpoints 上推出新的 OpenAI Whisper 部署选项，相比上一版性能提升至高 8 倍，让用户一键部署专用转录模型。
Hugging Face BlogAI 评分4444 Intel AutoRound：面向 LLM 和 VLM 的先进量化工具
Intel 推出 AutoRound，一款基于 signed gradient descent 的 weight-only 后训练量化（PTQ）工具，支持 INT2-INT8 低比特量化，在 INT2 精度下相对准确率比主流基线最高高出 2.1x。
Hugging Face BlogAI 评分5656 Hugging Face 开源 PipelineRL：用 inflight 权重更新加速大模型 RL 训练
Hugging Face 与 ServiceNow 开源了实验性 RL 实现 PipelineRL，核心创新是在 RL 训练中进行 inflight 权重更新，让推理服务器在不中断推理的情况下接收新权重，从而兼顾高推理吞吐与 on-policy 数据。
Hugging Face BlogAI 评分4545 Hugging Face：LLM 并发请求下的 Prefill 与 Decode 优化
Hugging Face 博客详解 LLM 并发请求处理中 Prefill（计算首个输出 token，可并行）与 Decode（逐 token 生成，无法并行）两阶段的性能差异及其对延迟、吞吐量和 GPU 利用率的影响。
Hugging Face BlogAI 评分4444 Gradio 为何不只是又一个 UI 库：17 个理由
Gradio 官方博客列出 17 个理由，说明它不只是 UI 库，而是通过 UI 与 API 交互机器学习模型的框架。
Hugging Face Blog精选AI 评分8888 Hugging Face 迎来 Meta Llama 4 Maverick 与 Scout 模型
Hugging Face 官方博客宣布 Meta 新一代 Llama 4 模型上线 Hub：Maverick 约 400B 总参数、128 专家，Scout 约 109B 总参数、16 专家，均为 17B 激活参数的 MoE 架构，支持文本与图像输入，训练数据最多 40 万亿 token、覆盖 200 种语言。
推荐理由：原文拆解了 NoPE、分块注意力等架构选择，读者可理解超长上下文如何实现。
Hugging Face BlogAI 评分5050 Hugging Face 博客：优化 LLM 服务的请求排队与公平调度
Hugging Face 官方博客发布 TNG Technology Consulting 关于 LLM 服务性能系列文章的第一篇，讲解多应用共享 GPU 时的请求排队与调度策略。
Hugging Face BlogAI 评分3636 Hugging Face 如何用 Infisical 扩展 AI 基础设施的密钥管理
Hugging Face 评估 HashiCorp Vault 后选择 Infisical，将密钥管理从 AWS-only 迁移到多云环境（Azure、GCP），并整合 Okta SSO 实现细粒度 RBAC 权限控制。
Hugging Face BlogAI 评分4747 TGI 原生集成 Intel Gaudi 硬件支持
Hugging Face 将 Intel Gaudi 硬件支持原生集成进 Text Generation Inference (TGI)（PR #3091），取代此前独立的 tgi-gaudi fork，基于 TGI 多后端架构直接支持 Gaudi1/2/3。
Hugging Face BlogAI 评分2424 Hugging Face Inference Endpoints 推出全新分析面板
Hugging Face 为 Inference Endpoints 推出全新分析面板，新增实时指标、可自定义时间范围与自动刷新，以及副本生命周期视图。数据实时更新，可即时查看请求延迟、响应时间和错误率；副本视图支持追踪从初始化到终止的每个状态变化。后端也已重构，高流量端点的指标加载更快。
Hugging Face BlogAI 评分5959 Hugging Face 将 Xet 存储上线 Hub 并完成首批仓库迁移
Hugging Face 将首批 Model 和 Dataset 仓库从 LFS 迁移到 Xet 存储，迁移当天共迁移 4.5 TB，约 6% 的 Hub 下载流量转到 Xet 基础设施。
Hugging Face BlogAI 评分5555 Hugging Face 推出 Remote VAEs 远程解码实验功能
Hugging Face 在 Diffusers 中推出实验性 Remote VAEs 功能，把 VAE 解码交给远程 endpoint，缓解高分辨率图像和视频生成时 VAE 解码的显存压力，避免 offload 的传输开销和 tiling 对画质的影响。
Hugging Face BlogAI 评分5656 Hugging Face 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家 Serverless 推理提供商
Hugging Face 在 Hub 上新增 Hyperbolic、Nebius AI Studio 和 Novita 三家 Serverless 推理提供商，与 Together AI、Sambanova、Replicate、fal、Fireworks.ai 等现有伙伴并列，新伙伴带来 DeepSeek-R1、Flux.1 等一批新模型。
Hugging Face BlogAI 评分4545 Fireworks.ai 成为 Hugging Face Hub 推理提供商
Fireworks.ai 正式成为 Hugging Face Hub 的 Inference Provider，可在模型页面及 huggingface_hub 等库中直接调用其 serverless 推理。
Hugging Face BlogAI 评分5858 Hugging Face 博客：10 亿次分类与嵌入推理的成本优化实测
Hugging Face 博客给出一套测算大规模分类与嵌入推理成本和延迟的方法，覆盖硬件选择、部署、负载测试与推理服务四个环节，并开源了代码 https://github.com/datavistics/encoder-analysis。
Hugging Face BlogAI 评分5757 Hugging Face 用 Xet 分块聚合加速 Hub 上传下载
Hugging Face 的 Xet 团队开源 xet-core 和 hf_xet，用基于 Rust 的分块方法替代文件级传输，部分场景下上传下载提速 2-3 倍。