Hugging Face 博客：如何在 AWS 上部署和微调 DeepSeek R1 模型
Hugging Face 与 AWS 合作发布持续更新的文档，介绍如何在 AWS 上部署和微调 DeepSeek R1 系列模型。
#部署/工程
Hugging Face BlogAI 评分5656
Hugging Face Blog精选AI 评分6161 Diffusers 梳理开源视频生成模型现状与显存优化方案
Hugging Face Diffusers 团队发文盘点当前开源视频生成模型现状，并给出在 Diffusers 中运行和优化这些模型的方案。
推荐理由：给出了显存实测数据和可组合的优化手段，读者可据此判断在自己硬件上跑开源视频模型的可行性。
Hugging Face BlogAI 评分4545 用 KVPress 掌控 LLM 长上下文：KV Cache 压缩工具包解析
NVIDIA 推出 Python 工具包 KVPress，通过 KnormPress、SnapKVPress、ExpectedAttentionPress 等多种压缩算法（presses）剪枝 KV Cache 中不重要的 KV 对，实现长上下文 LLM 的内存高效推理。
Hugging Face BlogAI 评分3636 Hugging Face 与 FriendliAI 合作，在 Hub 上简化模型部署
Hugging Face 与 FriendliAI 达成合作，将 FriendliAI Endpoints 集成进 Hugging Face Hub 的“Deploy this model”按钮，提供一键部署。
OpenAI NewsAI 评分4444 OpenAI Stargate 基础设施
OpenAI 联合战略合作伙伴宣布推进 AGI 基础设施愿景，寻求与电力、土地、建设、设备等数据中心产业链各环节的企业合作，共同交付其宏大使命。
Hugging Face BlogAI 评分5555 Hugging Face 为 TGI 引入多后端架构，支持 TRT-LLM 与 vLLM
Hugging Face 官方宣布为 Text Generation Inference (TGI) 引入多后端架构，通过统一的前端层集成 vLLM、llama.cpp、TensorRT-LLM 等推理方案，让用户按模型、硬件和性能需求切换后端。
Hugging Face BlogAI 评分5656 Hugging Face 教程：可视化与理解 PyTorch 训练中的 GPU 显存占用
Hugging Face 博客发布教程，讲解如何用 torch.cuda.memory._record_memory_history 记录显存快照并在 pytorch.org/memory_viz 可视化，逐步拆解模型创建、前向传播、反向传播与优化器步骤各阶段的显存变化。
Mistral AIAI 评分4646 Mistral Batch API 上线：批量处理成本降低 50%
Mistral AI 在 La Plateforme 上线 Batch API，批量处理 Mistral 模型请求的成本比同步 API 调用低 50%，适用于优先数据量而非实时响应的场景。
Hugging Face BlogAI 评分4141 Hugging Face 推出 HUGS：零配置开源模型推理微服务
Hugging Face 推出 Hugging Face Generative AI Services（HUGS），一套基于 Text Generation Inference（TGI）的零配置推理微服务，可在自有基础设施上部署开源模型，提供 OpenAI 兼容 API，支持 NVIDIA、AMD GPU，AWS Inferentia 和 Google TPU 即将支持。
Hugging Face BlogAI 评分5555 Hugging Face 官方教程：如何将 Speech-to-Speech 部署到 Inference Endpoints
Hugging Face 官方博客给出将 Speech-to-Speech（S2S）级联语音管线（VAD、STT、LM、TTS，支持英法西中日韩多语言）部署到 Inference Endpoints 的完整步骤。
Hugging Face BlogAI 评分5555 Hugging Face 与 dottxt 发布 outlines-core 0.1.0，用 Rust 实现结构化生成
Hugging Face 与 dottxt 合作发布 outlines-core，即 outlines 结构化生成核心算法的 Rust 移植版本，0.1.0 版 Python 绑定已发布并集成进 outlines。
Hugging Face BlogAI 评分4747 Llama 3.2 in Keras：Keras 从第一天起就支持 Llama 3.2
Keras 从第一天起就支持 Llama 3.2，可通过 keras_hub 直接加载 `hf://meta-llama/Llama-3.2-1B-Instruct` 等 Hugging Face safetensors checkpoint，需要转换时会自动完成。
Hugging Face BlogAI 评分5151 Hugging Face 测评 AMD 第五代 EPYC Turin CPU：LLM 吞吐约 2 倍提升
AMD 发布基于 Zen5 架构的第五代 EPYC 服务器 CPU（代号 Turin），最高 192 核 384 线程，Hugging Face 与 AMD 合作验证了其生态支持。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 Gradio 5 稳定版，主打生产可用的机器学习 Web 应用
Hugging Face 宣布 Gradio 5 稳定版发布，用几行 Python 即可构建高性能、可扩展、符合 Web 安全最佳实践的机器学习应用，升级命令为 pip install --upgrade gradio。
推荐理由：原文逐条对应开发者痛点给出改进方案，读者可据此评估升级到 Gradio 5 的收益与迁移成本。
Hugging Face BlogAI 评分5454 Hugging Face 官方教程：用 Dask 将数据处理扩展到 2.11 亿行
Hugging Face 官方博客展示了如何用 Dask 把基于 FineWeb 数据集的 FineWeb-Edu 分类任务从本地 100 行扩展到云端多 GPU 上的 2.11 亿行。
Hugging Face BlogAI 评分4545 Hugging Face Hub 优化 Parquet 文件去重
Hugging Face Xet 团队针对 Hub 上 Parquet 文件的去重效率展开实验，发现追加操作去重率可达 99.1%（仅需 20MB 额外存储），而修改单行因 Parquet 列头记录绝对文件偏移导致去重率降至 89%（需 230MB），删除行则会因行组重排使后半文件完全重写。
Hugging Face BlogAI 评分4444 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Hugging Face Transformers 模型
Hugging Face 介绍了用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型的完整流程，涵盖导出 OpenVINO IR、权重量化与 GenAI API 部署。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Accelerate 1.0.0 首个候选版本
Hugging Face 官方发布 Accelerate 1.0.0 的首个 release candidate，补齐了 FP8 支持（MS-AMP 与 TransformersEngine）。
OpenAI NewsAI 评分1010 OpenAI：从数百个成功部署中总结的 AI 落地经验
OpenAI 发布了基于数百个成功企业部署案例总结的 AI 落地经验，主题为"Put AI to Work"。原文正文仅提供标题信息，未包含具体案例细节、模型版本、参数规模或 benchmark 数据。
Hugging Face BlogAI 评分5555 Hugging Face Hub 上五个被低估的工具及其语义搜索实战
Hugging Face 官方博客以一个自动更新的语义搜索应用为例，介绍 Hub 上五个常被忽视的工具：ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分5858 Hugging Face 推出 DataCollatorWithFlattening，让无 padding 打包训练兼容 Flash Attention 2
Hugging Face Transformers 新增 DataCollatorWithFlattening，使无 padding 的打包式指令微调训练兼容 Flash Attention 2，通过 flash_attn_varlen_func 计算 cu_seqlens 并保留序列边界，避免跨样本注意力影响收敛。
Hugging Face BlogAI 评分4444 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 教你在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B：用 Text Generation Inference (TGI) 和 Hugging Face Deep Learning Containers。
Hugging Face BlogAI 评分4444 ggml 入门指南
Hugging Face 发布 ggml 入门教程，介绍这款用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。ggml 核心库不到 5 个文件，编译后体积小于 1MB，支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量，被 llama.cpp、ollama、LM Studio 等项目用于端侧 LLM。
Hugging Face BlogAI 评分5656 Hugging Face 教你用 Quanto 和 Diffusers 降低扩散 Transformer 显存占用
Hugging Face 官方博客介绍如何用 Quanto 的量化工具优化 Diffusers 中 Transformer 架构的扩散管线显存占用。
Hugging Face BlogAI 评分4545 Hugging Face 推出 NVIDIA NIM API（serverless）无服务器推理服务
Hugging Face 推出 NVIDIA NIM API（serverless）无服务器推理服务，面向 Enterprise Hub 组织，基于 NVIDIA DGX Cloud 提供 Llama、Mistral 等开源模型的推理 API，兼容 OpenAI SDK，按计算时间计费（H100 GPU $8.25/小时）。
Hugging Face Blog精选AI 评分9393 Hugging Face 官方介绍 Llama 3.1 系列模型及生态集成
Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态，Hub 上提供 8 个开放权重模型（3 个 base 和 5 个微调版本），涵盖 8B、70B、405B 三种尺寸，均支持 128K 上下文窗口和 8 种语言，并新增工具调用能力与更宽松的许可（允许用模型输出改进其他 LLM）。
推荐理由：详细列出三种尺寸的显存需求与量化方案，读者可据此判断自己硬件能否跑起来。
Hugging Face BlogAI 评分5858 Hugging Face TGI 推出 Multi-LoRA serving：一次部署可服务 30 个模型
Hugging Face 官方博客宣布 TGI 新增 Multi-LoRA serving 功能，可在单次部署一个基座模型（如 mistralai/Mistral-7B-v0.1）后，根据请求携带的 adapter_id 动态选择对应 LoRA adapter，实现一次部署服务多个微调模型。
Hugging Face BlogAI 评分3636 Banque des Territoires x Polyconseil x Hugging Face：用主权数据方案升级法国 EduRénov 环境项目
Banque des Territoires（CDC Group）、Polyconseil 与 Hugging Face 合作，为法国 EduRénov 学校生态改造项目开发基于 RAG 的主权数据方案，首期已于近日完成。
Hugging Face BlogAI 评分5555 Hugging Face Inference Endpoints 和 Spaces 上线 Google TPU v5e 支持
Hugging Face 宣布 Inference Endpoints 和 Spaces 自当日起支持 Google TPU v5e，用户可在 us-west1 区域选择三档配置。
Hugging Face BlogAI 评分3434 在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST 推理与微调
Intel 和 MILA 将蛋白质多模态语言模型 ProtST 重构后发布到 Hugging Face Hub，并演示了用 Optimum for Intel Gaudi 在 Gaudi 2 上运行推理与微调。
Hugging Face BlogAI 评分2424 Prezi 如何借助 Hugging Face Expert Support Program 加速其多模态 ML 路线图
Prezi 加入 Hugging Face Expert Support Program，将开源 re-ranker 模型引入其 Prezi AI 系统的资产搜索管线，以更低成本、更快速度和更好效果筛选图片与文本。
Hugging Face BlogAI 评分5555 Hugging Face Accelerate 解析 DeepSpeed 与 FSDP 精度差异并新增对齐模式
Hugging Face Accelerate 团队发现用 Mistral-7B base 在 bfloat16 下训练时 DeepSpeed 与 FSDP 损失曲线不一致。
Hugging Face BlogAI 评分4444 Hugging Face Embedding Container for Amazon SageMaker 正式可用（GA）
Hugging Face Embedding Container for Amazon SageMaker 正式可用（GA），AWS 客户可在 SageMaker 上部署开源 Embedding 模型构建 RAG 等生成式 AI 应用。
Hugging Face BlogAI 评分3434 Hugging Face 为 Intel Gaudi 加速 assisted generation 支持
Hugging Face 将 assisted generation（基于 Speculative Sampling）适配并优化到 Intel Gaudi 处理器，现已集成进 Optimum Habana。
Hugging Face BlogAI 评分4444 Hugging Face TGI Benchmarking 工具：如何剖析 Text Generation Inference 的吞吐与延迟权衡
Hugging Face 推出 TGI Benchmarking 工具，用于剖析 Text Generation Inference（TGI）部署的吞吐与延迟权衡，帮助用户按需调优。
Hugging Face BlogAI 评分5555 Hugging Face Inference Endpoints 支持在 AWS Inferentia2 上部署模型
Hugging Face 宣布 Inference Endpoints 新增 Inferentia2 实例，用户可在 Hub 上几次点击即可部署模型，同时将 SageMaker 上的 Inferentia2 部署扩展到超过 100,000 个公开模型，新增 14 种模型架构和 6 类任务。
Hugging Face BlogAI 评分3838 Hugging Face Spaces 推出 Dev Mode，支持一键连接 VS Code 与 SSH
Hugging Face Spaces 推出 Dev Mode（目前处于 beta，面向 PRO 订阅用户），支持一键连接 VS Code 或 SSH 直接编辑 Space 中的代码，无需再用 git 推送本地改动。修改后点击 Refresh 即可测试，满意后再 commit 和 merge 持久化更改。社区已创建超过 500,000 个 Spaces。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Dell Enterprise Hub，简化本地部署与训练开源模型
Hugging Face 推出 Dell Enterprise Hub，让用户在 Dell 平台上轻松本地训练和部署 Llama 3、Mixtral、Gemma 等开源模型，将数周的工程工作缩短至几分钟。
Hugging Face BlogAI 评分5555 Hugging Face 完成 AMD Instinct MI300 平台集成
Hugging Face 宣布与 AMD 合作，将 AMD Instinct MI300 集成进其平台，transformers 和 text-generation-inference 已在 MI250 与 MI300 上定期测试。
Hugging Face BlogAI 评分5454 Hugging Face 与 Microsoft 在 Microsoft Build 上深化合作并发布多项新功能
Hugging Face 在 Microsoft Build 上宣布与 Microsoft 深化战略合作，覆盖云、开源科学、开源库与开发者体验四条线。