Banque des Territoires x Polyconseil x Hugging Face：用主权数据方案升级法国 EduRénov 环境项目
Banque des Territoires（CDC Group）、Polyconseil 与 Hugging Face 合作，为法国 EduRénov 学校生态改造项目开发基于 RAG 的主权数据方案，首期已于近日完成。
#部署/工程
Hugging Face BlogAI 评分3636 Hugging Face BlogAI 评分5555 Hugging Face Inference Endpoints 和 Spaces 上线 Google TPU v5e 支持
Hugging Face 宣布 Inference Endpoints 和 Spaces 自当日起支持 Google TPU v5e，用户可在 us-west1 区域选择三档配置。
Hugging Face BlogAI 评分3434 在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST 推理与微调
Intel 和 MILA 将蛋白质多模态语言模型 ProtST 重构后发布到 Hugging Face Hub，并演示了用 Optimum for Intel Gaudi 在 Gaudi 2 上运行推理与微调。
Hugging Face BlogAI 评分2424 Prezi 如何借助 Hugging Face Expert Support Program 加速其多模态 ML 路线图
Prezi 加入 Hugging Face Expert Support Program，将开源 re-ranker 模型引入其 Prezi AI 系统的资产搜索管线，以更低成本、更快速度和更好效果筛选图片与文本。
Hugging Face BlogAI 评分5555 Hugging Face Accelerate 解析 DeepSpeed 与 FSDP 精度差异并新增对齐模式
Hugging Face Accelerate 团队发现用 Mistral-7B base 在 bfloat16 下训练时 DeepSpeed 与 FSDP 损失曲线不一致。
Hugging Face BlogAI 评分4444 Hugging Face Embedding Container for Amazon SageMaker 正式可用（GA）
Hugging Face Embedding Container for Amazon SageMaker 正式可用（GA），AWS 客户可在 SageMaker 上部署开源 Embedding 模型构建 RAG 等生成式 AI 应用。
Hugging Face BlogAI 评分3434 Hugging Face 为 Intel Gaudi 加速 assisted generation 支持
Hugging Face 将 assisted generation（基于 Speculative Sampling）适配并优化到 Intel Gaudi 处理器，现已集成进 Optimum Habana。
Hugging Face BlogAI 评分4444 Hugging Face TGI Benchmarking 工具：如何剖析 Text Generation Inference 的吞吐与延迟权衡
Hugging Face 推出 TGI Benchmarking 工具，用于剖析 Text Generation Inference（TGI）部署的吞吐与延迟权衡，帮助用户按需调优。
Hugging Face BlogAI 评分5555 Hugging Face Inference Endpoints 支持在 AWS Inferentia2 上部署模型
Hugging Face 宣布 Inference Endpoints 新增 Inferentia2 实例，用户可在 Hub 上几次点击即可部署模型，同时将 SageMaker 上的 Inferentia2 部署扩展到超过 100,000 个公开模型，新增 14 种模型架构和 6 类任务。
Hugging Face BlogAI 评分3838 Hugging Face Spaces 推出 Dev Mode，支持一键连接 VS Code 与 SSH
Hugging Face Spaces 推出 Dev Mode（目前处于 beta，面向 PRO 订阅用户），支持一键连接 VS Code 或 SSH 直接编辑 Space 中的代码，无需再用 git 推送本地改动。修改后点击 Refresh 即可测试，满意后再 commit 和 merge 持久化更改。社区已创建超过 500,000 个 Spaces。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Dell Enterprise Hub，简化本地部署与训练开源模型
Hugging Face 推出 Dell Enterprise Hub，让用户在 Dell 平台上轻松本地训练和部署 Llama 3、Mixtral、Gemma 等开源模型，将数周的工程工作缩短至几分钟。
Hugging Face BlogAI 评分5555 Hugging Face 完成 AMD Instinct MI300 平台集成
Hugging Face 宣布与 AMD 合作，将 AMD Instinct MI300 集成进其平台，transformers 和 text-generation-inference 已在 MI250 与 MI300 上定期测试。
Hugging Face BlogAI 评分5454 Hugging Face 与 Microsoft 在 Microsoft Build 上深化合作并发布多项新功能
Hugging Face 在 Microsoft Build 上宣布与 Microsoft 深化战略合作，覆盖云、开源科学、开源库与开发者体验四条线。
Hugging Face BlogAI 评分5757 Hugging Face Transformers 推出 KV Cache 量化功能
Hugging Face 在 Transformers 中推出 KV Cache Quantization 功能，通过降低 KV cache 数值精度显著减少长上下文生成的内存占用，支持更长生成而不易耗尽显存。
Hugging Face BlogAI 评分3333 Hugging Face Enterprise Hub 支持通过 AWS 账号订阅
Hugging Face Enterprise Hub 现已支持通过 AWS 账号在 AWS Marketplace 完成订阅，账单由 AWS 账户直接管理，定价与 Hugging Face 公开定价一致。
Hugging Face BlogAI 评分3636 如何用 Intel Gaudi 2 和 Intel Xeon 构建高性价比的企业级 RAG 应用
Hugging Face 与 Intel 演示了如何基于 OPEA 平台，用 Intel Gaudi 2 加速器和 Xeon CPU 构建高性价比的企业级 RAG 应用。
Hugging Face BlogAI 评分5454 Hugging Face 教程：在 Inference Endpoints 上部署 Whisper ASR、说话人分离与投机解码管线
Hugging Face 官方博客介绍如何用自定义 inference handler 在 Inference Endpoints 上部署 Whisper ASR、Pyannote 说话人分离与投机解码的组合管线，代码拆分为 handler.py、diarization_utils.py 和 config.py 三个文件。
Hugging Face BlogAI 评分4444 Hugging Face Endpoints 上运行隐私保护推理（Zama 客座教程）
Zama 在 Hugging Face 上提供预编译的 Concrete ML 模型，用户可通过 Hugging Face Endpoints 和 custom inference handlers 一键部署全同态加密（FHE）隐私保护推理。
Hugging Face BlogAI 评分2828 Ryght 借助 Hugging Face Expert Support 打造医疗与生命科学生成式 AI 平台
Ryght 正式推出面向医疗与生命科学领域的生成式 AI 平台 Ryght Preview，现已向所有用户公开可用。
Hugging Face BlogAI 评分4545 Gradio reload mode 如何快速构建 AI 应用
Gradio 的 reload mode 让开发者用 `gradio app.py` 启动应用后，源码改动即时生效、无需重启服务器，UI 更新瞬间可见。相比 uvicorn 自带的自动重载，它支持选择性重载，可用 `if gr.NO_RELOAD:` 标记不需重载的代码（如已加载的 AI 模型或 InferenceClient），避免每次改动都重新加载模型。
Hugging Face BlogAI 评分4747 Hugging Face 推出 Deploy on Google Cloud，让数千个开源 LLM 轻松部署到 Vertex AI Model Garden
Hugging Face 推出 Deploy on Google Cloud 集成，支持将数千个基础模型通过 Vertex AI 或 GKE 一键部署为 API Endpoint，推理由 Text Generation Inference 提供支持。
Hugging Face BlogAI 评分4444 用 🤗 Optimum Intel 在 Xeon 上实现 7.8 倍加速的 SetFit 推理
Hugging Face 展示了如何用 🤗 Optimum Intel 将 SetFit 模型在 Intel Xeon CPU 上的推理速度提升 7.8 倍，通过 Intel Neural Compressor 对模型主体做 post-training static quantization（PTQ）即可实现。
Hugging Face BlogAI 评分4141 Hugging Face 推出 Deploy on Cloudflare Workers AI：开源模型的 serverless GPU 推理
Hugging Face 与 Cloudflare 联合推出 Deploy on Cloudflare Workers AI 集成，让开发者无需管理 GPU 基础设施即可通过 serverless API 调用热门开源模型，按请求付费。
Hugging Face BlogAI 评分5555 Hugging Face 教你在 Intel Meteor Lake 笔记本上运行 Phi-2 聊天机器人
Hugging Face 通过 Optimum Intel 集成 Intel OpenVINO，将 2.7B 参数的 Phi-2 模型做 4-bit 权重量化，在搭载 Core Ultra 7 155H 的中端笔记本上运行本地推理。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Train on DGX Cloud 服务，可在 Hub 内用 H100 微调模型
Hugging Face 宣布推出 Train on DGX Cloud 服务，面向 Enterprise Hub 组织，可在 Hub 内通过几次点击使用 NVIDIA H100 微调 Llama、Mistral、Stable Diffusion 等模型，由 AutoTrain 和 Spaces 提供无代码训练体验。
Hugging Face BlogAI 评分5555 Hugging Face 推出 PyTorch 量化后端 quanto 并集成进 transformers
Hugging Face 发布 quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8、float8 权重与 int8、float8 激活，可在 CUDA、CPU、MPS 任意设备上运行，并提供从浮点模型到动态/静态量化模型的完整工作流。
Hugging Face BlogAI 评分5454 用 Optimum Intel 和 fastRAG 在 CPU 上优化 BGE 嵌入模型
Hugging Face 官方博客展示了如何用 Optimum Intel、Intel Neural Compressor 和 IPEX 对 BGE small/base/large（45M/110M/355M 参数）做 int8 静态量化。
Hugging Face BlogAI 评分2828 在 Intel® Gaudi® 2 AI 加速器上运行 Llama 2 文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 的自定义 GaudiTextGenerationPipeline 在 Intel® Gaudi® 2 上以几行代码运行 Llama 2（7b、13b、70b）文本生成，涵盖预处理与后处理。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 完成全生态集成
Google 发布开源大模型系列 Gemma，包含 7B 和 2B 两种参数规模、各有 base 与 instruction-tuned 版本，共 4 个开放模型上线 Hugging Face Hub。
推荐理由：文章给出各尺寸模型的跑分对照和单卡微调命令，读者可据此判断在自有硬件上落地的可行性。
Hugging Face BlogAI 评分4444 Hugging Face Text Generation Inference 正式登陆 AWS Inferentia2 与 Amazon SageMaker
Hugging Face 宣布 Text Generation Inference (TGI) 正式在 AWS Inferentia2 和 Amazon SageMaker 上可用，为生产级 LLM 部署提供 GPU 之外的可行替代方案。
Hugging Face BlogAI 评分4747 用 🤗 Optimum Intel 在 Xeon 上加速 StarCoder：Q8/Q4 与投机解码
Hugging Face 在 Intel 第 4 代 Xeon 上通过 8bit/4bit 量化与投机解码（assisted generation）将 StarCoder-15B 推理加速 7 倍以上。
Hugging Face BlogAI 评分5151 Hugging Face 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 博客介绍如何用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理，在所有测试的 batch size 与步数组合上 ONNX Runtime 都优于 PyTorch，SDXL Turbo 吞吐提升最高达 229%、SD Turbo 达 120%。
Hugging Face BlogAI 评分5858 Hugging Face 教程：用 Gradio 把 ComfyUI 工作流免费跑在 Spaces ZeroGPU 上
Hugging Face 官方教程分步讲解如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU serverless 环境免费推理。
Hugging Face BlogAI 评分5555 Hugging Face 教程：用 Speculative Decoding 让 Whisper 推理提速 2 倍
Hugging Face 博客演示如何用 Speculative Decoding 把 Whisper 推理时间缩短为原来的 1/2，且数学上保证输出与原模型完全一致，可直接替换现有 Whisper 流程。
Hugging Face BlogAI 评分5555 Hugging Face 宣布 Transformers 模型在 AMD Instinct GPU 上免改代码运行并支持 TGI
Hugging Face 宣布 Transformers 模型和任务现已可在 AMD Instinct GPU 上免改代码运行，并在 Text Generation Inference（TGI）中加入对 AMD Instinct MI210 和 MI250 的初始支持。
Hugging Face BlogAI 评分5555 Hugging Face 发布 Optimum-NVIDIA 推理库，单行代码改动提速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 即可获得最高 28x 吞吐提升和 1,200 tokens/second 的推理速度。
Hugging Face BlogAI 评分5656 Hugging Face 让 LoRA 推理提速 300%，冷启动从 25s 降到 3s
Hugging Face 在 Inference API 中实现 LoRA 动态加载，保持 Stable Diffusion 基础模型常驻热态、按请求切换适配器，把预热时间从 25s 降到 3s，用户响应时间从 35s 降到 13s，用不到 5 张 A10G 即可服务数百个不同 LoRA。
Hugging Face BlogAI 评分4444 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 通过 optimum-neuron 支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成，只需将模型编译导出为 Neuron 格式即可用 transformers 库或 pipeline 生成文本。
Hugging Face BlogAI 评分3838 Hugging Face Hub 推出 Storage Regions 存储区域功能
Hugging Face 为 Enterprise Hub 计划推出 Storage Regions 功能，允许组织选择模型和数据集的存储位置，目前支持 US 和 EU，Asia-Pacific 即将推出。
Hugging Face BlogAI 评分4444 使用 Hugging Face Inference Endpoints 部署 Embedding 模型
Hugging Face 介绍如何用 Text Embedding Inference（TEI）把开源 Embedding 模型部署到 Inference Endpoints，TEI 支持 MTEB 排行榜前 10 的模型，含 FlagEmbedding、GTE、E5 等。