Hugging Face 发布 Accelerate 1.0.0 首个候选版本
Hugging Face 官方发布 Accelerate 1.0.0 的首个 release candidate，补齐了 FP8 支持（MS-AMP 与 TransformersEngine）。
#开源生态
Hugging Face BlogAI 评分5656
Hugging Face BlogAI 评分5555 Hugging Face Hub 上五个被低估的工具及其语义搜索实战
Hugging Face 官方博客以一个自动更新的语义搜索应用为例，介绍 Hub 上五个常被忽视的工具：ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face BlogAI 评分4444 在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face 教你在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B：用 Text Generation Inference (TGI) 和 Hugging Face Deep Learning Containers。
Hugging Face BlogAI 评分4444 ggml 入门指南
Hugging Face 发布 ggml 入门教程，介绍这款用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。ggml 核心库不到 5 个文件，编译后体积小于 1MB，支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量，被 llama.cpp、ollama、LM Studio 等项目用于端侧 LLM。
Hugging Face Blog精选AI 评分6262 Hugging Face Transformers 推出跨模型统一工具调用 API
Hugging Face 在 Transformers 中推出跨模型统一的工具调用 API，同一份代码可在 Mistral、Cohere、NousResearch、Llama 等模型间移植，几乎无需模型特定改动，并配套辅助功能与完整文档示例。
推荐理由：文章给出统一工具调用 API 的设计取舍与完整可运行示例，读者可直接迁移方法到自己的项目中。
Hugging Face Blog精选AI 评分6666 Hugging Face 发布 Falcon Mamba 7B：首个强性能无注意力 7B 模型
Hugging Face 与阿布扎比 TII 联合发布 Falcon Mamba 7B，基于 Mamba 架构并加入额外 RMS 归一化层，以约 5500GT 数据训练，可处理任意长度序列且生成每个 token 耗时恒定，能装进单张 A10 24GB GPU。
推荐理由：原文对比了 SSM 与 Transformer 在长序列上的内存与吞吐差异，读者可据此理解无注意力架构的适用边界。
Hugging Face BlogAI 评分5757 Hugging Face 收购 XetHub，将为 Hub 换用自研存储后端
Hugging Face 宣布收购西雅图公司 XetHub，其团队将帮助把 Hub 仓库的存储后端从 Git LFS 换成自研的优化版本，以支撑未来 5 年数据集和模型的增长。
Hugging Face BlogAI 评分4141 Hugging Face 2024 年安全功能亮点盘点
Hugging Face 盘点了截至 2024 年 8 月 6 日 Hub 上的安全功能，分为面向所有用户的默认功能与 Enterprise Hub 高级控制两部分。
Hugging Face Blog精选AI 评分6464 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型阵容：推出 2.6B 参数的 Gemma 2 2B（含 base 与 instruction-tuned 版本）。
推荐理由：梳理了三个新发布的定位与用法，读者可据此判断小模型在端侧和投机解码中的落地路径。
Hugging Face BlogAI 评分4545 Hugging Face 推出 NVIDIA NIM API（serverless）无服务器推理服务
Hugging Face 推出 NVIDIA NIM API（serverless）无服务器推理服务，面向 Enterprise Hub 组织，基于 NVIDIA DGX Cloud 提供 Llama、Mistral 等开源模型的推理 API，兼容 OpenAI SDK，按计算时间计费（H100 GPU $8.25/小时）。
Mistral AI精选AI 评分6767 Mistral AI 发布 Mistral Large 2（mistral-large-2407）
Mistral AI 发布 Mistral Large 2，API 名为 mistral-large-2407，已在 la Plateforme 和 le Chat 上线，instruct 模型权重同步上线 HuggingFace。
推荐理由：原文给出参数规模、上下文长度与多项基准对比，读者可据此评估它在性能成本上的定位。
Hugging Face Blog精选AI 评分9393 Hugging Face 官方介绍 Llama 3.1 系列模型及生态集成
Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态，Hub 上提供 8 个开放权重模型（3 个 base 和 5 个微调版本），涵盖 8B、70B、405B 三种尺寸，均支持 128K 上下文窗口和 8 种语言，并新增工具调用能力与更宽松的许可（允许用模型输出改进其他 LLM）。
推荐理由：详细列出三种尺寸的显存需求与量化方案，读者可据此判断自己硬件能否跑起来。
Mistral AI精选AI 评分7373 Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo，上下文窗口达 128k tokens，采用标准架构，可作为 Mistral 7B 的直接替代，已以 Apache 2.0 许可发布预训练 base 和指令微调 checkpoints。
推荐理由：原文给出了架构兼容性与量化训练细节，读者可据此评估它替换 Mistral 7B 的迁移成本。
Hugging Face BlogAI 评分5858 Hugging Face TGI 推出 Multi-LoRA serving：一次部署可服务 30 个模型
Hugging Face 官方博客宣布 TGI 新增 Multi-LoRA serving 功能，可在单次部署一个基座模型（如 mistralai/Mistral-7B-v0.1）后，根据请求携带的 adapter_id 动态选择对应 LoRA adapter，实现一次部署服务多个微调模型。
Mistral AIAI 评分5555 Mistral AI 开源数学推理模型 Mathstral 7B
Mistral AI 发布并开源专注数学与 STEM 推理的指令模型 Mathstral 7B，基于 Mistral 7B 构建，与 Project Numina 合作产出。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 SmolLM 小模型系列与 SmolLM-Corpus 数据集
Hugging Face 发布 SmolLM 小语言模型系列，包含 135M、360M、1.7B 三种参数规模，并同步开源 SmolLM-Corpus 训练语料。
推荐理由：原文公开了数据配比与消融实验细节，读者可迁移其小模型数据筛选方法。
Hugging Face Blog精选AI 评分6161 NuminaMath 7B TIR 赢得首届 AIMO Progress Prize 的技术方案
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO Progress Prize，在私有测试集 50 题中解出 29 题。
推荐理由：详细拆解了从数据构造到解码算法的完整配方，可迁移方法多。
Hugging Face BlogAI 评分5454 Hugging Face 与 KerasHub 达成模型格式互通，KerasHub 可直接加载 300K+ Transformers 模型
Hugging Face 与 KerasHub 宣布 Transformers 与 KerasHub 共享模型保存格式，KerasHub 用户现在可以用一行代码直接加载 Hugging Face Hub 上 300K+ 的 Transformers 模型，首批支持 Gemma 1 和 2、Llama 3、PaliGemma。
Hugging Face BlogAI 评分3636 Banque des Territoires x Polyconseil x Hugging Face：用主权数据方案升级法国 EduRénov 环境项目
Banque des Territoires（CDC Group）、Polyconseil 与 Hugging Face 合作，为法国 EduRénov 学校生态改造项目开发基于 RAG 的主权数据方案，首期已于近日完成。
Hugging Face BlogAI 评分5757 Hugging Face Transformers Agents 代码智能体在 GAIA 基准取得 44.2%
Hugging Face 用基于 Transformers Agents 库构建的 ReactCodeAgent 参加 GAIA 基准，验证集取得 44.2%，在公开榜总榜排名第一，比第二名高 4 个百分点；测试集取得 33.3%，排名第二，超过 Microsoft Autogen 的提交，并在最难的 Level 3 问题上取得最佳平均分。
Hugging Face Blog精选AI 评分7878 Hugging Face 介绍 Google 新开放模型 Gemma 2 的技术细节与生态集成
Google 发布 Gemma 2 系列开放 LLM，Hugging Face 与 Google 合作完成生态集成，Hub 上提供 4 个开放权重模型（9B 与 27B 各含 base 和指令微调版本），上下文长度 8192 tokens，27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。
推荐理由：详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节，便于读者理解其性能提升来源。
Hugging Face BlogAI 评分3434 XLSCOUT 推出 ParaEmbed 2.0：面向专利与 IP 的 Embedding 模型，Hugging Face 提供专家支持
XLSCOUT 推出面向专利与 IP 的专有 Embedding 模型 ParaEmbed 2.0，准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face BlogAI 评分4444 Hugging Face 与 Argilla 的 Data Is Better Together 计划回顾与展望
Hugging Face 与 Argilla 联合开源社区推进的 Data Is Better Together 计划，已发布 DIBT/10k_prompts_ranked 数据集（10K prompts，385 人参与），并基于其中 500 条 prompt 启动多语言评测项目 MPEP，荷兰语、俄语、西班牙语翻译已完成。
Hugging Face BlogAI 评分5757 Hugging Face 在 TRL 中推出 RLOO Trainer 作为 PPO 的替代方案
Hugging Face 在 TRL 中引入 RLOO（REINFORCE Leave One-Out）Trainer，作为 PPO 之外更易实现的在线 RLHF 训练算法。
Hugging Face BlogAI 评分3434 Hugging Face Transformers 文档为何需要重新设计
Hugging Face 宣布将重新设计 Transformers 文档，以解决其因多年增量式堆叠新内容而变得割裂、难导航且过时的问题。新版文档将转向以代码和解决方案为导向，面向开发者而非仅面向机器学习工程师，并用灵活的结构取代僵化的 Diátaxis 分类，让内容自然生长与整合。
Mistral AIAI 评分5656 Mistral AI 在 la Plateforme 推出模型定制与微调服务
Mistral AI 在 la Plateforme 推出模型定制功能，提供三条微调入口：开源微调 SDK mistral-finetune（基于 LoRA，可在自有基础设施上微调其开源模型）、la Plateforme 上的 serverless 托管微调服务，以及面向部分客户的定制训练服务（含持续预训练）。
Hugging Face BlogAI 评分5858 Hugging Face Spaces secrets 遭未授权访问，官方撤销部分 HF token
Hugging Face 官方披露其 Spaces 平台遭未授权访问，部分 Spaces secrets 可能被读取，已撤销其中一批 HF token 并向相关用户发送邮件通知。
Mistral AI精选AI 评分6767 Mistral AI 发布首个代码模型 Codestral
Mistral AI 发布首个代码模型 Codestral，这是一个 22B 开源权重模型，专为代码生成任务设计，支持 80+ 编程语言，具备 fill-in-the-middle 补全机制和 32k 上下文窗口，在 RepoBench 等基准上取得领先表现。
推荐理由：原文给出模型规格、评测基准和开放入口，读者可据此判断它在编码工作流中的可用性。
Hugging Face BlogAI 评分5555 TII 发布 Falcon2-11B 开源 LLM 与 VLM
TII 发布 Falcon 2 系列首批模型 Falcon2-11B，包括 11B 参数的 LLM 和具备图像理解能力的 VLM，基于超过 5,000 GT tokens 的 RefinedWeb 数据经四阶段训练，上下文长度扩展至 8192 tokens。
Hugging Face BlogAI 评分5555 Hugging Face Inference Endpoints 支持在 AWS Inferentia2 上部署模型
Hugging Face 宣布 Inference Endpoints 新增 Inferentia2 实例，用户可在 Hub 上几次点击即可部署模型，同时将 SageMaker 上的 Inferentia2 部署扩展到超过 100,000 个公开模型，新增 14 种模型架构和 6 类任务。
Hugging Face BlogAI 评分3838 Hugging Face Spaces 推出 Dev Mode，支持一键连接 VS Code 与 SSH
Hugging Face Spaces 推出 Dev Mode（目前处于 beta，面向 PRO 订阅用户），支持一键连接 VS Code 或 SSH 直接编辑 Space 中的代码，无需再用 git 推送本地改动。修改后点击 Refresh 即可测试，满意后再 commit 和 merge 持久化更改。社区已创建超过 500,000 个 Spaces。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Dell Enterprise Hub，简化本地部署与训练开源模型
Hugging Face 推出 Dell Enterprise Hub，让用户在 Dell 平台上轻松本地训练和部署 Llama 3、Mixtral、Gemma 等开源模型，将数周的工程工作缩短至几分钟。
Hugging Face BlogAI 评分5555 Hugging Face 完成 AMD Instinct MI300 平台集成
Hugging Face 宣布与 AMD 合作，将 AMD Instinct MI300 集成进其平台，transformers 和 text-generation-inference 已在 MI250 与 MI300 上定期测试。
Hugging Face BlogAI 评分5454 Hugging Face 与 Microsoft 在 Microsoft Build 上深化合作并发布多项新功能
Hugging Face 在 Microsoft Build 上宣布与 Microsoft 深化战略合作，覆盖云、开源科学、开源库与开发者体验四条线。
Hugging Face Blog精选AI 评分6363 Hugging Face 发布 Transformers Agents 2.0，Llama-3-70B-Instruct 智能体在 GAIA 排行榜升至第 4
Hugging Face 发布 Transformers Agents 2.0，在原有智能体之外新增两种能基于过往观察迭代的智能体（ReactCodeAgent 与 ReactJsonAgent），并加入社区分享功能。
推荐理由：原文给出组件设计与基准结果，读者可据此评估开源智能体框架的实际竞争力。
Hugging Face BlogAI 评分5757 Hugging Face 发布 StarCoder2-15B-Instruct-v0.1 全透明自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，一个完全用自生成数据、无需 GPT-4 等闭源教师模型蒸馏的指令微调代码模型，HumanEval 得分 72.6，超过 CodeLlama-70B-Instruct 的 72.0。
Hugging Face BlogAI 评分5656 Hugging Face 开源多用途 Transformer 智能体 JAT 及配套数据集
Hugging Face 发布 Jack of All Trades（JAT）项目，包含 JAT 模型、JAT 数据集和一批专家 RL 智能体，JAT 是基于 Transformer 的多用途智能体，可在 Atari、BabyAI、Meta-World、MuJoCo 等 157 个训练任务上用单一网络完成游戏、机器人控制和导航等决策任务。
Hugging Face Blog精选AI 评分8888 Hugging Face 完整集成 Meta Llama 3 开源模型
Meta 发布开源 Llama 3 系列，包含 8B 和 70B 两种参数规模的 base 与 instruct 共 4 个模型，以及基于 Llama 3 8B 微调的 Llama Guard 2，全部已上线 Hugging Face Hub。
推荐理由：原文梳理了 Llama 3 的技术变化与生态集成入口，读者可据此判断如何在自己的工作流中使用它。
Mistral AI精选AI 评分7171 Mistral AI 发布开源模型 Mixtral 8x22B
Mistral AI 发布最新开源模型 Mixtral 8x22B，采用稀疏 MoE 架构，141B 总参数中仅激活 39B，以 Apache 2.0 许可开放。
推荐理由：原文给出了参数规模、激活量与基准分数，读者可据此评估其性价比定位。
Hugging Face BlogAI 评分4444 Hugging Face Endpoints 上运行隐私保护推理（Zama 客座教程）
Zama 在 Hugging Face 上提供预编译的 Concrete ML 模型，用户可通过 Hugging Face Endpoints 和 custom inference handlers 一键部署全同态加密（FHE）隐私保护推理。