Hugging Face 为 TGI 引入多后端架构，支持 TRT-LLM 与 vLLM
Hugging Face 官方宣布为 Text Generation Inference (TGI) 引入多后端架构，通过统一的前端层集成 vLLM、llama.cpp、TensorRT-LLM 等推理方案，让用户按模型、硬件和性能需求切换后端。
#开源生态
Hugging Face BlogAI 评分5555
Hugging Face BlogAI 评分5656 Hugging Face 发布两款静态嵌入模型，CPU 推理提速 100x 至 400x
Hugging Face 发布两款静态嵌入模型 sentence-transformers/static-retrieval-mrl-en-v1（英文检索）和 static-similarity-mrl-multilingual-v1（多语言相似度）。
Hugging Face BlogAI 评分5353 Hugging Face 博客：AI 智能体已经到来，该如何应对
Hugging Face 官方博客发文梳理 AI 智能体的定义、能力谱系与伦理权衡，建议不要开发完全自主的 AI 智能体，因为用户让渡的控制越多风险越大，能自行编写并执行代码的智能体将获得凌驾于人类控制之上的能力。
Hugging Face BlogAI 评分5656 Hugging Face 与 LlamaIndex 发布多语言视觉文档检索模型 vdr-2b-multi-v1
Hugging Face 与 LlamaIndex 合作发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型，可将文档页面截图编码为单向量表示，无需 OCR 或分块即可检索多语言文档，同时开源英文版 vdr-2b-v1 和含 500k 样本的 vdr-multilingual-train 训练数据集。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 smolagents 库，让语言模型以代码形式编写动作
Hugging Face 发布 smolagents，一个让语言模型获得智能体能力的简洁库，核心特点是让智能体以代码形式编写动作而非 JSON 片段。库的逻辑约数千行代码，支持 E2B 沙箱执行、通过 Hub 分享加载工具，并经 LiteLLM 集成支持 OpenAI、Anthropic 等 100+ 云端模型，是 transformers.agents 的继任者。
推荐理由：原文对比了代码动作与 JSON 工具调用的取舍依据，读者可据此判断何时该用智能体。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Judge Arena 平台对比 LLM 评判能力
Hugging Face 与 Atla 联合推出 Judge Arena，让任何人并排对比模型作为评判者的表现：系统随机生成或自定义样本，两个 LLM 评判者分别打分并给出理由，用户投票选出更符合自己判断的一方，投票后才揭示模型名以避免偏差。
Hugging Face BlogAI 评分5656 Hugging Face 集成 PyCharm：在 IDE 内检索模型、查看 Model Card 与管理本地缓存
Hugging Face 官方博客介绍其与 PyCharm 的集成，开发者可在代码中右键选择 Insert HF Model，按 image-text-to-text 等类别筛选并查看 Model Card 示例代码，直接粘贴运行，例如选用 microsoft/Phi-3.5-vision-instruct 实现图文对话。
Hugging Face BlogAI 评分5757 Hugging Face 与 Intel Labs 推出 Universal Assisted Generation，跨模型族加速推理 1.5x-2.0x
Hugging Face 与 Intel Labs 联合推出 Universal Assisted Generation（UAG），让 assisted generation（投机解码）不再要求目标模型与助手模型来自同一模型族、共享同一 tokenizer，可为任意 decoder 或 MoE 模型带来 1.5x-2.0x 推理加速且几乎零开销。
Hugging Face BlogAI 评分5858 Cohere For AI 发布 Aya Expanse 8B 和 32B 多语言开源模型
Cohere For AI 发布 Aya Expanse 8B 和 32B 多语言模型并以开放权重形式释出。成对比较中 Aya Expanse 32B 胜过 Gemma 2 27B、Mistral 8x22B 和 Llama 3.1 70B，8B 版本对 Gemma 2 9B、Llama 3.1 8B、Ministral 8B 的胜率在 60.4% 到 70.6% 之间。
Hugging Face BlogAI 评分4141 Hugging Face 推出 HUGS：零配置开源模型推理微服务
Hugging Face 推出 Hugging Face Generative AI Services（HUGS），一套基于 Text Generation Inference（TGI）的零配置推理微服务，可在自有基础设施上部署开源模型，提供 OpenAI 兼容 API，支持 NVIDIA、AMD GPU，AWS Inferentia 和 Google TPU 即将支持。
Hugging Face Blog精选AI 评分6161 Hugging Face 与 Google DeepMind 在 Transformers v4.46.0 中推出 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中推出 SynthID Text，可通过 logits processor 为 AI 生成文本添加水印并用分类器检测。
推荐理由：原文给出了配置参数、检测器训练流程和局限，读者可据此评估如何在自己的模型上落地水印方案。
Hugging Face BlogAI 评分5353 Hugging Face 与 Protect AI 合作，将 Guardian 扫描器集成到 Hub
Hugging Face 宣布与 Protect AI 合作，将其安全扫描工具 Guardian 集成到 Hub 的扫描套件中，所有公开模型仓库在推送文件后会被 Guardian 自动扫描。
Hugging Face Blog精选AI 评分7474 Hugging Face 发布 Transformers.js v3，支持 WebGPU 加速与 120 种架构
Hugging Face 官方发布 Transformers.js v3，加入 WebGPU 支持，性能最高可达 WASM 的 100 倍，可通过设置 device: 'webgpu' 启用。
推荐理由：原文列出了 WebGPU 加速与 dtype 量化参数的具体用法，读者可据此判断浏览器端模型部署的性能与体积取舍。
Hugging Face BlogAI 评分5656 Gradio 5 发布前完成 Trail of Bits 独立安全审计并修复全部问题
Hugging Face 邀请网络安全公司 Trail of Bits 对 Gradio 代码库进行独立安全审计，发现的问题已在 Gradio 5.0 发布前全部修复并经对方验证。
Hugging Face BlogAI 评分5555 Hugging Face Transformers 4.45.0 默认启用动态推测解码加速辅助生成
Hugging Face 与 Intel labs 合作开发的动态推测解码已集成进 Transformers 4.45.0，成为 assisted generation 的默认模式，最高可带来 2.7x 加速。
Hugging Face BlogAI 评分4545 中国 AI 全球扩张简述
中国 AI 企业正加速出海，2024 年 6 月的费凡研究显示全球 1,500 家活跃 AI 公司中 751 家来自中国，其中 103 家已布局海外。华为、腾讯、阿里等巨头聚焦云计算与 AI 基础设施，重点布局东南亚和中东；ByteDance 则主攻西方 To C 市场，CapCut 月活超 300 万、累计收入达 $125 million。
Hugging Face BlogAI 评分3434 BenCzechMark：你的 LLM 懂捷克语吗？
Hugging Face 推出 BenCzechMark，这是首个全面评估大语言模型（LLM）捷克语能力的评测套件，包含 9 大类共 50 项任务，其中 90% 为原生非翻译内容。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 3.2：多模态 Vision 与端侧 1B/3B 模型上线 Hugging Face
Meta 与 Hugging Face 合作发布 Llama 3.2 系列，共 10 个开放权重模型上线 Hub，包括 5 个多模态模型和 5 个纯文本模型。
推荐理由：原文给出各尺寸模型的显存需求与本地运行方式，读者可据此判断能否在自己的设备上跑起来。
Hugging Face BlogAI 评分3434 探索 Hugging Face Daily Papers 页面的隐藏功能
Hugging Face Daily Papers 页面上线以来已收录超过 3,700 篇论文，订阅用户超过 12k。作者可一键认领论文并关联自己的模型或数据集，用户可在评论区 @librarian-bot 获取相关论文推荐，或通过 @username 与作者直接对话。页面还支持多语言评论与内置翻译、upvote 推荐、每日订阅推送，以及与 arXiv 的双向跳转集成（需安装浏览器扩展）。
Hugging Face BlogAI 评分5555 Hugging Face 拆解 FineVideo 数据集的构建流水线
Hugging Face 发布并详解 FineVideo 数据集的构建过程，该数据集包含 43k 段视频、共 3.4k 小时，配有丰富描述、场景切分和 QA 对。
Mistral AI精选AI 评分7272 Mistral AI 发布 Mistral Small v24.09 并全线降价
Mistral AI 宣布发布 Mistral Small v24.09（22B 参数，MRL 许可），同时对全系模型降价，Mistral Small 和 Codestral 输入价格降至 $0.2 / M input tokens（降幅 80%），Mistral Large 2 降至 $2 / M input tokens（降幅 33%）。
推荐理由：一次更新同时给出降价幅度、新模型参数与授权方式，便于读者对照自身用量评估迁移成本。
Mistral AI精选AI 评分7272 Mistral AI 发布原生多模态模型 Pixtral 12B
Mistral AI 发布 Pixtral 12B，一款原生多模态模型，采用图文交错数据训练，采用 Apache 2.0 许可，可在 Le Chat 和 La Plateforme 上使用。
推荐理由：原文给出了架构细节、评测协议和本地部署方式，读者可据此评估它能否替代现有开源多模态模型。
Hugging Face BlogAI 评分5555 HuggingChat 发布 Community Tools，可将任意 Space 变为模型工具
HuggingChat 发布 Community Tools，可把 Hugging Face 上的任意公开 Space 变成模型可直接调用的工具，同时扩展了图像理解、视频生成和文本转语音等模态。文中给出把 Space 转成工具的字段填写方法、用 Gradio 自建骰子工具的示例、在助手中最多添加 3 个工具的用法，以及一个可复制的 RAG 工具；该功能目前仍处实验阶段。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Accelerate 1.0.0 首个候选版本
Hugging Face 官方发布 Accelerate 1.0.0 的首个 release candidate，补齐了 FP8 支持（MS-AMP 与 TransformersEngine）。
Hugging Face BlogAI 评分5555 Hugging Face Hub 上五个被低估的工具及其语义搜索实战
Hugging Face 官方博客以一个自动更新的语义搜索应用为例，介绍 Hub 上五个常被忽视的工具：ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分4444 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 教你在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B：用 Text Generation Inference (TGI) 和 Hugging Face Deep Learning Containers。
Hugging Face BlogAI 评分4444 ggml 入门指南
Hugging Face 发布 ggml 入门教程，介绍这款用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。ggml 核心库不到 5 个文件，编译后体积小于 1MB，支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量，被 llama.cpp、ollama、LM Studio 等项目用于端侧 LLM。
Hugging Face Blog精选AI 评分6262 Hugging Face Transformers 推出跨模型统一工具调用 API
Hugging Face 在 Transformers 中推出跨模型统一的工具调用 API，同一份代码可在 Mistral、Cohere、NousResearch、Llama 等模型间移植，几乎无需模型特定改动，并配套辅助功能与完整文档示例。
推荐理由：文章给出统一工具调用 API 的设计取舍与完整可运行示例，读者可直接迁移方法到自己的项目中。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Falcon Mamba 7B：首个强性能无注意力 7B 模型
Hugging Face 与阿布扎比 TII 联合发布 Falcon Mamba 7B，基于 Mamba 架构并加入额外 RMS 归一化层，以约 5500GT 数据训练，可处理任意长度序列且生成每个 token 耗时恒定，能装进单张 A10 24GB GPU。
推荐理由：原文对比了 SSM 与 Transformer 在长序列上的内存与吞吐差异，读者可据此理解无注意力架构的适用边界。
Hugging Face BlogAI 评分5757 Hugging Face 收购 XetHub，将为 Hub 换用自研存储后端
Hugging Face 宣布收购西雅图公司 XetHub，其团队将帮助把 Hub 仓库的存储后端从 Git LFS 换成自研的优化版本，以支撑未来 5 年数据集和模型的增长。
Hugging Face BlogAI 评分4141 Hugging Face 2024 年安全功能亮点盘点
Hugging Face 盘点了截至 2024 年 8 月 6 日 Hub 上的安全功能，分为面向所有用户的默认功能与 Enterprise Hub 高级控制两部分。
Hugging Face Blog精选AI 评分6464 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型阵容：推出 2.6B 参数的 Gemma 2 2B（含 base 与 instruction-tuned 版本）。
推荐理由：梳理了三个新发布的定位与用法，读者可据此判断小模型在端侧和投机解码中的落地路径。
Hugging Face BlogAI 评分4545 Hugging Face 推出 NVIDIA NIM API（serverless）无服务器推理服务
Hugging Face 推出 NVIDIA NIM API（serverless）无服务器推理服务，面向 Enterprise Hub 组织，基于 NVIDIA DGX Cloud 提供 Llama、Mistral 等开源模型的推理 API，兼容 OpenAI SDK，按计算时间计费（H100 GPU $8.25/小时）。
Mistral AI精选AI 评分6767 Mistral AI 发布 Mistral Large 2（mistral-large-2407）
Mistral AI 发布 Mistral Large 2，API 名为 mistral-large-2407，已在 la Plateforme 和 le Chat 上线，instruct 模型权重同步上线 HuggingFace。
推荐理由：原文给出参数规模、上下文长度与多项基准对比，读者可据此评估它在性能成本上的定位。
Hugging Face Blog精选AI 评分9393 Hugging Face 官方介绍 Llama 3.1 系列模型及生态集成
Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态，Hub 上提供 8 个开放权重模型（3 个 base 和 5 个微调版本），涵盖 8B、70B、405B 三种尺寸，均支持 128K 上下文窗口和 8 种语言，并新增工具调用能力与更宽松的许可（允许用模型输出改进其他 LLM）。
推荐理由：详细列出三种尺寸的显存需求与量化方案，读者可据此判断自己硬件能否跑起来。
Mistral AI精选AI 评分7373 Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo，上下文窗口达 128k tokens，采用标准架构，可作为 Mistral 7B 的直接替代，已以 Apache 2.0 许可发布预训练 base 和指令微调 checkpoints。
推荐理由：原文给出了架构兼容性与量化训练细节，读者可据此评估它替换 Mistral 7B 的迁移成本。
Hugging Face BlogAI 评分5858 Hugging Face TGI 推出 Multi-LoRA serving：一次部署可服务 30 个模型
Hugging Face 官方博客宣布 TGI 新增 Multi-LoRA serving 功能，可在单次部署一个基座模型（如 mistralai/Mistral-7B-v0.1）后，根据请求携带的 adapter_id 动态选择对应 LoRA adapter，实现一次部署服务多个微调模型。
Mistral AIAI 评分5555 Mistral AI 开源数学推理模型 Mathstral 7B
Mistral AI 发布并开源专注数学与 STEM 推理的指令模型 Mathstral 7B，基于 Mistral 7B 构建，与 Project Numina 合作产出。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 SmolLM 小模型系列与 SmolLM-Corpus 数据集
Hugging Face 发布 SmolLM 小语言模型系列，包含 135M、360M、1.7B 三种参数规模，并同步开源 SmolLM-Corpus 训练语料。
推荐理由：原文公开了数据配比与消融实验细节，读者可迁移其小模型数据筛选方法。
Hugging Face Blog精选AI 评分6161 NuminaMath 7B TIR 赢得首届 AIMO Progress Prize 的技术方案
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO Progress Prize，在私有测试集 50 题中解出 29 题。
推荐理由：详细拆解了从数据构造到解码算法的完整配方，可迁移方法多。