Google Cloud C4 搭配 Intel 与 Hugging Face 实现 GPT OSS 70% TCO 改善
Intel 与 Hugging Face 合作测试显示，Google Cloud C4 虚拟机（搭载 Intel Xeon 6 处理器）运行 OpenAI GPT OSS 大语言模型时，总拥有成本（TCO）较上一代 C3 虚拟机改善 1.7 倍（约 70%）。
#部署/工程
Hugging Face BlogAI 评分4444
Hugging Face BlogAI 评分4444 3 步在 Intel CPU 上运行 VLM：Optimum Intel + OpenVINO 教程
Hugging Face 用 Optimum Intel 和 OpenVINO 演示了 3 步在 Intel CPU 上本地运行 VLM 的流程，无需 GPU，示例模型为 HuggingFaceTB/SmolVLM2-256M-Video-Instruct。
OpenAI NewsAI 评分3838 OpenAI 与 Sur Energy 探索阿根廷首个 Stargate 项目
OpenAI 与 Sur Energy 正在探索阿根廷首个 Stargate 项目，这是一项 AI 与清洁能源的合作。该项目有望让阿根廷在人工智能、可持续基础设施和数字创新方面成为拉丁美洲的领先者。
OpenAI News精选AI 评分7070 OpenAI 与 Broadcom 达成多年期合作，2029 年前部署 10 吉瓦自研 AI 加速器
OpenAI 与 Broadcom 宣布达成多年期合作，部署 10 gigawatts 的 OpenAI 自研 AI 加速器，并共同开发下一代系统与 Ethernet 方案，以在 2029 年前支撑可扩展、高能效的 AI 基础设施。
推荐理由：原文给出了合作规模与时间表，读者可据此理解 OpenAI 在自研加速器与算力基础设施上的布局方向。
Hugging Face BlogAI 评分88 Arm 将亮相 PyTorch Conference，邀你现场体验
Arm 将于 10 月 22-23 日参加 PyTorch Conference，展示如何借助 PyTorch 和 ExecuTorch 帮助开发者构建与部署 AI 应用。
OpenAI News精选AI 评分7878 AMD 与 OpenAI 宣布战略合作，部署 6 吉瓦 AMD GPU
AMD 与 OpenAI 宣布达成多年期战略合作，将部署 6 gigawatts 的 AMD Instinct GPU，为 OpenAI 下一代 AI 基础设施提供算力。首批 1 gigawatt 将于 2026 年开始部署。
推荐理由：原文给出了合作规模和分阶段部署节奏，可据此判断双方在算力供给上的长期绑定程度。
Hugging Face BlogAI 评分4545 用深度剪枝草稿模型加速 Intel® Core™ Ultra 上的 Qwen3-8B Agent
Hugging Face 用 OpenVINO.GenAI 的投机解码把 Qwen3-8B 在 Intel® Core™ Ultra 上的生成速度提升约 1.3×，再对 Qwen3-0.6B 草稿模型剪掉 28 层中的 6 层并微调，加速比推到约 1.4×。
OpenAI NewsAI 评分5555 OpenAI、Oracle 和 SoftBank 为 Stargate 新增五个 AI 数据中心站点
OpenAI、Oracle 和 SoftBank 宣布为 Stargate 新增五个 AI 数据中心站点，推进总额 $500B、规模达 10 gigawatt 的美国基础设施建设，为下一代 AI 提供算力并创造数万个就业岗位。
OpenAI News精选AI 评分7272 OpenAI 与 NVIDIA 宣布战略合作，部署 10 吉瓦 NVIDIA 系统
OpenAI 与 NVIDIA 宣布战略合作，将部署 10 吉瓦由 NVIDIA 系统驱动的 AI 数据中心，第一阶段将于 2026 年启动。
Hugging Face BlogAI 评分4444 Scaleway 成为 Hugging Face Inference Providers 新增推理服务商
Scaleway 正式成为 Hugging Face Hub 的 Inference Provider，其 Scaleway Generative APIs 为 gpt-oss。
Hugging Face BlogAI 评分5555 Public AI 上线 Hugging Face Inference Providers
Hugging Face 宣布 Public AI 成为其 Inference Providers 的新增服务商，用户可在 Hub 模型页面直接调用 Swiss AI Initiative、AI Singapore 等机构的公共与主权模型。
Hugging Face Blog精选AI 评分7474 Hugging Face 解析 transformers 为 OpenAI gpt-oss 升级的八项优化技巧
Hugging Face 官方博客详解为支持 OpenAI gpt-oss 系列而对 transformers 库做的多项升级，包括可从 Hub 下载的零构建 kernels、MXFP4 量化、Tensor Parallelism、Expert Parallelism、动态滑动窗口层与缓存、连续批处理与 Paged Attention 以及更快加载大模型。
推荐理由：逐项拆解了可直接复用的配置参数与代码片段，读者可按需移植到自己的模型上。
Hugging Face Blog精选AI 评分6262 Hugging Face 教你在 ZeroGPU Spaces 中接入 PyTorch AoT 编译提速
Hugging Face 官方博客介绍如何在 ZeroGPU Spaces 中接入 PyTorch ahead-of-time (AoT) 编译，利用 spaces 包提供的 aoti_capture。
推荐理由：文章给出可直接复用的 AoT 编译接入步骤和多种进阶技巧，读者可据此改造自己的 ZeroGPU 应用。
Hugging Face BlogAI 评分5656 Hugging Face 教程：从零构建并规模化生产可用的 CUDA kernel
Hugging Face 官方博客给出使用 kernel-builder 库从零构建 CUDA kernel 的完整教程，以 RGB 转灰度图为例，演示项目结构。
Hugging Face BlogAI 评分4949 Accelerate ND-Parallel：高效多 GPU 训练指南
Hugging Face 在 Accelerate 中通过 ParallelismConfig 类支持任意组合 DP、FSDP、Tensor Parallel、Context Parallel 等并行策略，并同步集成进 Axolotl，配置只需在 config 文件中添加 dp_shard_size、tensor_parallel_size 等字段。
Hugging Face Blog精选AI 评分9292 Hugging Face 欢迎 OpenAI 开源 gpt-oss 模型家族并给出部署指南
Hugging Face 发布博客介绍 OpenAI 新开源的 gpt-oss 模型家族，包含 117B 参数的 gpt-oss-120b 和 21B 参数的 gpt-oss-20b，均为 MoE 架构并采用 MXFP4 4-bit 量化，采用 Apache 2.0 许可，120B 可装入单张 H100，20B 可在 16GB 显存内运行。
推荐理由：系统梳理了 gpt-oss 在不同硬件上的推理优化选择，可直接作为本地部署的参考。
OpenAI NewsAI 评分4444 OpenAI 推出 Stargate Norway：欧洲首个 AI 数据中心
OpenAI 宣布启动 Stargate Norway，这是其 OpenAI for Countries 计划下在欧洲的首个 AI 数据中心项目。Stargate 是 OpenAI 的整体基础设施平台，也是其长期愿景中让所有人受益于 AI 的关键部分。
OpenAI NewsAI 评分1818 Intercom 打造可持续 AI 优势的三个经验
Intercom 分享了构建可扩展 AI 平台的三个关键经验，涵盖从评估（evaluations）到架构设计，以在客户支持领域保持领先。文章由 OpenAI News 发布，聚焦 AI 平台的可持续优势建设路径。
Hugging Face BlogAI 评分5454 Hugging Face CLI 正式更名为 hf 并新增 hf jobs 命令
Hugging Face 官方宣布 CLI 从 huggingface-cli 正式更名为 hf，命令结构改为 hf <resource> <action> 格式，认证相关命令统一归入 hf auth（如 hf auth login、hf auth whoami、hf auth logout），旧版 huggingface-cli 仍可继续使用但会提示弃用警告。
Hugging Face BlogAI 评分5656 Hugging Face 分享 Flux LoRA 推理加速方案，H100 上提速 2.23 倍
Hugging Face 官方博客介绍了在 Diffusers 和 PEFT 中优化 Flux.1-Dev 模型 LoRA 推理速度的方案，通过 Flash Attention 3、torch.compile、FP8 量化和支持热交换的加载方式，在 H100 上相比基线取得 2.23 倍加速。
Hugging Face BlogAI 评分5555 NVIDIA NIM 支持在 Hugging Face 上部署超 10 万个 LLM
NVIDIA 宣布 NIM 推理微服务现可在 Hugging Face 上快速部署超过 100,000 个 LLM。单个 NIM docker 容器支持 NVIDIA TensorRT-LLM、vLLM 和 SGLang 等推理框架，会自动完成模型格式识别、架构与量化格式检测、后端选择和性能配置，无需手动调优。
Hugging Face Blog精选AI 评分6161 Hugging Face 将 Hub 存储从 Git LFS 迁移至 Xet 并向全部用户开放
Hugging Face 宣布将 Hub 存储从 Git LFS 迁移至 Xet，6 个月内已有 500,000 个仓库、20 PB 数据完成迁移，超过 100 万人在使用 Xet，5 月起成为新用户和组织的默认选项。
推荐理由：原文拆解了无感迁移的桥接与后台同步机制，可迁移借鉴其平滑迁移方案。
Hugging Face BlogAI 评分5656 Hugging Face 博客详解机器人异步推理：解耦动作预测与执行
Hugging Face 官方博客介绍异步推理方案，将策略推理与动作执行拆分到 PolicyServer 和 RobotClient 两个进程，通过 gRPC 通信，让机器人在推理期间继续执行当前动作队列，消除空闲等待。
Hugging Face BlogAI 评分5858 Hugging Face 与 AMD 合作为 MI300X 打造 Llama 3.1 405B FP8 推理优化 kernel
Hugging Face 与 AMD 合作开源了针对 8 MI300X 节点上用 VLLM 跑 Llama 3.1 405B FP8 推理的优化 kernel，代码发布在 hf-rocm-kernels 仓库。
Hugging Face BlogAI 评分4444 Hugging Face 生产基础设施的三大关键告警
Hugging Face 基础设施团队详解支撑其生产环境的三大关键告警：NAT Gateway 出口流量阈值告警、Hub 请求日志归档成功率告警，以及第三项告警。日志管线由 Filebeat 采集、Logstash 富化（含 GeoIP）、Elasticsearch 存储构成，告警用于在问题演变为重大事故前及时发现并响应，保障平台稳定性与可用性。
Hugging Face BlogAI 评分4747 SGLang 集成 Hugging Face transformers 作为后端
SGLang 现已支持将 Hugging Face transformers 作为后端，可开箱运行任何 transformers 兼容模型的高性能推理，遇到 SGLang 原生不支持的模型时会自动回退到 transformers 实现，也可通过 `impl="transformers"` 显式指定。
Hugging Face BlogAI 评分5555 Groq 加入 Hugging Face Inference Providers
Groq 现已作为 Inference Providers 支持的推理提供商上线 Hugging Face Hub，可在模型页面直接调用，并已集成到 JS 和 Python 客户端 SDK。
Hugging Face BlogAI 评分5454 长提示词如何阻塞其他请求：vLLM 下的 LLM 性能优化分析
TNG 在自托管的 24 张 H100 集群上为 50 多个应用提供 LLM 服务，日处理超 1 亿输入 token、生成超 1000 万输出 token，文章分析了长提示词如何阻塞 prefill 队列并拖慢并发 decode。
Hugging Face BlogAI 评分4646 Featherless AI 成为 Hugging Face Inference Providers 新增推理服务商
Featherless AI 正式成为 Hugging Face Hub 的 Inference Providers 服务商，支持 DeepSeek、Meta、Google、Qwen 等大量开源文本与对话模型，以 serverless 定价提供超大模型目录。
Hugging Face BlogAI 评分5555 Hugging Face 推出 Kernel Hub：一行代码加载预编译优化 kernel
Hugging Face 官方博客介绍 Kernel Hub，让 Python 库和应用通过 kernels 库的 get_kernel 直接从 Hub 加载预编译的优化计算 kernel，覆盖 FlashAttention、量化、MoE、激活函数与归一化等场景。
Mistral AIAI 评分5656 Mistral AI 发布 Mistral Compute 私有AI基础设施
Mistral AI 宣布推出 Mistral Compute，这是一套面向客户的私有集成AI基础设施，涵盖 GPU、编排、API、产品与服务，形态从裸金属服务器到全托管 PaaS。
Hugging Face BlogAI 评分5858 Hugging Face 与 NVIDIA 合作推出 Training Cluster as a Service
Hugging Face 在 GTC Paris 宣布与 NVIDIA 合作推出 Training Cluster as a Service，让全球研究机构按需申请 GPU 集群、只为训练时长付费，Hugging Face 上 250,000 家组织均可在 hf.co/training-cluster 提交申请。
Hugging Face BlogAI 评分4545 Dell Enterprise Hub 发布新版：一站式在本地部署 AI 模型与应用
Dell 在 Dell Tech World 宣布推出新版 Dell Enterprise Hub，提供 Meta Llama 4 Maverick、DeepSeek R1、Google Gemma 3 等模型的容器化部署方案，支持 NVIDIA H100/H200、AMD MI300X、Intel Gaudi 3 硬件。
OpenAI NewsAI 评分4646 OpenAI 推出 Stargate UAE
OpenAI 推出 Stargate UAE，这是其 AI 基础设施平台 Stargate 的首个国际部署。
Hugging Face BlogAI 评分5555 Hugging Face Diffusers 量化后端实测对比：BnB、torchao、Quanto、GGUF 与 FP8
Hugging Face 官方博客以 Flux-dev（BF16 加载约 31.447 GB）为例，实测 Diffusers 集成的 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 五种量化后端的显存与推理表现。
Hugging Face BlogAI 评分5454 Hugging Face 与 Microsoft 扩大合作，Azure AI Foundry 上线 10,000+ 开源模型
在 Microsoft Build 大会上，Satya Nadella 宣布 Microsoft 与 Hugging Face 扩大合作，Azure AI Foundry 的 Model Catalog 中现已可找到 10,000+ 个 Hugging Face 模型，覆盖文本、音频和图像任务，可几次点击完成部署。
Hugging Face Blog精选AI 评分6060 Hugging Face Transformers 将标准化模型定义，降低跨框架贡献门槛
Hugging Face 宣布 Transformers 将成为跨框架的模型定义枢纽：只要模型架构被 transformers 支持，就预期在生态其他部分同样被支持。
推荐理由：原文说明了 Transformers 作为模型定义标准如何打通训练、推理与本地部署链路，读者可据此理解生态碎片化的应对方式。
Hugging Face BlogAI 评分5555 Hugging Face Inference Endpoints 推出 Whisper 快速部署方案，性能提升至高 8 倍
Hugging Face 在 Inference Endpoints 上推出新的 OpenAI Whisper 部署选项，相比上一版性能提升至高 8 倍，让用户一键部署专用转录模型。
Hugging Face BlogAI 评分4444 Intel AutoRound：面向 LLM 和 VLM 的先进量化工具
Intel 推出 AutoRound，一款基于 signed gradient descent 的 weight-only 后训练量化（PTQ）工具，支持 INT2-INT8 低比特量化，在 INT2 精度下相对准确率比主流基线最高高出 2.1x。
Hugging Face BlogAI 评分5656 Hugging Face 开源 PipelineRL：用 inflight 权重更新加速大模型 RL 训练
Hugging Face 与 ServiceNow 开源了实验性 RL 实现 PipelineRL，核心创新是在 RL 训练中进行 inflight 权重更新，让推理服务器在不中断推理的情况下接收新权重，从而兼顾高推理吞吐与 on-policy 数据。