Arm 将亮相 PyTorch Conference，邀你现场体验
Arm 将于 10 月 22-23 日参加 PyTorch Conference，展示如何借助 PyTorch 和 ExecuTorch 帮助开发者构建与部署 AI 应用。
#端侧
Hugging Face BlogAI 评分88
Hugging Face BlogAI 评分5757 Hugging Face 详解用 Core ML 和 MLX 将 dots.ocr 转为端侧 SOTA OCR 模型
Hugging Face 发布三部分系列第一篇，讲解如何把 RedNote 的 3B 参数 OCR 模型 dots.ocr（在 OmniDocBench 上超过 Gemini 2.5 Pro）通过 Core ML 和 MLX 组合转到端侧运行，其中视觉编码器用 Core ML、Qwen2.5-1.5B 语言骨干用 MLX。
Hugging Face BlogAI 评分5555 NVIDIA 开源 Nemotron-Personas-Japan 日本合成人格数据集
NVIDIA 发布并以 CC BY 4.0 许可开源 Nemotron-Personas-Japan 数据集，面向日本主权 AI 开发者提供隐私保护的合成人格训练数据。
Hugging Face BlogAI 评分4545 swift-transformers 1.0 发布：Tokenizers 与 Hub 成为顶级模块，未来聚焦 MLX 与智能体场景
Hugging Face 的 swift-transformers 发布 1.0 版本，Tokenizers 和 Hub 升级为可独立依赖的顶级模块，并与 John Mai 合作推出快数个数量级的 swift-jinja。
Hugging Face Blog精选AI 评分7373 Google 发布 EmbeddingGemma 多语言嵌入模型
Google 发布 EmbeddingGemma（google/embeddinggemma-300m），一款 308M 参数、2K 上下文窗口、支持 100 多种语言的多语言嵌入模型，面向端侧场景，量化后内存占用低于 200 MB，在 MTEB 上是 500M 以下排名最高的纯文本多语言嵌入模型。
推荐理由：给出了架构改动、多框架接入方式和微调脚本，读者可据此判断如何在端侧 RAG 中落地该模型。
Hugging Face BlogAI 评分5555 ExecuTorch 0.7 beta 将默认启用 KleidiAI，把生成式 AI 带到更多 Arm 设备
ExecuTorch 0.7 beta 将默认启用 Arm KleidiAI，让 Android 与跨平台开发者无需集成改动即可获得更快的模型启动、更低延迟和更省内存的端侧推理。
Hugging Face BlogAI 评分5656 Arm 发布面向移动设备的 Neural Super Sampling 超分模型
Arm 发布 Neural Super Sampling（NSS），一款面向图形与游戏开发者的 AI 超分模型，已在 Enchanted Castle 演示中将 GPU 负载降低 50%，以 540p 渲染并放大到 1080p 仅需 4ms。
Hugging Face Blog精选AI 评分8181 Gemma 3n 在开源生态全面开放可用
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama、Google AI Edge 等主流开源库开放可用，原生支持图像、文本、音频和视频输入。
推荐理由：原文给出了模型规格、显存需求和各库接入方式，读者可据此判断能否在自己的设备上跑起来。
Hugging Face BlogAI 评分3434 Arm 上的实时 AI 声音生成：一个面向创作自由的个人工具
Arm 合作伙伴兼生态负责人 Michael Gamble 构建了一个在 Arm CPU 上完全本地运行的个人声音生成应用，基于 Stability AI 的 Stable Audio Open 模型与 PyTorch、TorchAudio，无需 GPU 和云端推理，几秒内即可从提示词生成 .wav 文件。
Hugging Face BlogAI 评分4545 Dell Enterprise Hub 发布新版：一站式在本地部署 AI 模型与应用
Dell 在 Dell Tech World 宣布推出新版 Dell Enterprise Hub，提供 Meta Llama 4 Maverick、DeepSeek R1、Google Gemma 3 等模型的容器化部署方案，支持 NVIDIA H100/H200、AMD MI300X、Intel Gaudi 3 硬件。
Hugging Face BlogAI 评分5656 Falcon-Edge 发布 1.58bit 三值语言模型系列与 onebitllms 微调工具包
Falcon-Edge 团队发布基于 BitNet 架构的 Falcon-Edge 系列 1.58bit 三值语言模型，提供 1B 和 3B 两种参数规模，各有 base 和 instruction-tuned 版本。
Mistral AIAI 评分5858 Mistral AI 发布 Le Chat Enterprise，搭载全新 Mistral Medium 3 模型
Mistral AI 发布 Le Chat Enterprise，由全新 Mistral Medium 3 模型驱动，面向企业统一 AI 平台，功能在未来两周内陆续上线。
Hugging Face BlogAI 评分5555 Open R1：如何在本地用 LM Studio 跑 OlympicCoder 做编码
教程介绍如何在本地用 LM Studio 运行 OlympicCoder 7B 并接入 VS Code：安装 LM Studio，从 hub 拉取 4bit GGUF 版本（推荐 Q4_K_M 量化）。
Mistral AI精选AI 评分7474 Mistral AI 发布 Mistral Small 3.1 模型
Mistral AI 宣布发布 Mistral Small 3.1，基于 Mistral Small 3 升级，改进了文本性能与多模态理解，上下文窗口扩展至 128k tokens，推理速度达 150 tokens per second，以 Apache 2.0 许可开源。
推荐理由：原文列出了上下文、速度与运行门槛，读者可据此判断它是否适合端侧与低延迟场景。
Hugging Face BlogAI 评分5757 Hugging Face 教程：用 React Native 在手机上本地运行 LLM
Hugging Face 发布教程，指导用 React Native 构建可在 Android 和 iOS 上从 Hugging Face Hub 下载 GGUF 模型并完全离线本地推理的聊天应用，完整代码在 EdgeLLM 仓库。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolVLM2 系列视频理解模型
Hugging Face 发布 SmolVLM2 系列三个新模型，参数量分别为 2.2B、500M 和 256M，主打在手机到服务器等各类设备上运行视频理解。2.2B 版本在 Video-MME 上超过现有 2B 模型，500M 和 256M 版本被称为迄今发布的最小视频语言模型，其中 500M 版本以不到四分之一的参数量接近 2.2B 的视频理解能力。
推荐理由：原文给出三档参数量、Video-MME 表现和 MLX/Swift 接入方式，读者可据此判断小模型视频理解能否落到自己的设备上。
Mistral AI精选AI 评分6969 Mistral 发布 Mistral Small 3：24B 参数、Apache 2.0 开源模型
Mistral AI 发布 Mistral Small 3，一个延迟优化的 24B 参数模型，以 Apache 2.0 许可开源，提供预训练和指令微调两个 checkpoint。
推荐理由：原文给出了参数量、延迟与本地部署门槛，读者可据此判断它是否适合替代闭源小模型。
Hugging Face Blog精选AI 评分7474 Hugging Face 发布 Transformers.js v3，支持 WebGPU 加速与 120 种架构
Hugging Face 官方发布 Transformers.js v3，加入 WebGPU 支持，性能最高可达 WASM 的 100 倍，可通过设置 device: 'webgpu' 启用。
推荐理由：原文列出了 WebGPU 加速与 dtype 量化参数的具体用法，读者可据此判断浏览器端模型部署的性能与体积取舍。
Mistral AI精选AI 评分6363 Mistral AI 发布 Ministral 3B 和 Ministral 8B 端侧模型
Mistral AI 在 Mistral 7B 发布一周年之际推出两款面向端侧计算的模型 Ministral 3B 和 Ministral 8B，称其在 sub-10B 类别的知识、常识、推理、function-calling 和效率上达到新水平。
推荐理由：原文给出了 sub-10B 端侧模型的能力定位、定价与部署细节，便于读者评估其在本地推理场景的可用性。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 3.2：多模态 Vision 与端侧 1B/3B 模型上线 Hugging Face
Meta 与 Hugging Face 合作发布 Llama 3.2 系列，共 10 个开放权重模型上线 Hub，包括 5 个多模态模型和 5 个纯文本模型。
推荐理由：原文给出各尺寸模型的显存需求与本地运行方式，读者可据此判断能否在自己的设备上跑起来。
Hugging Face BlogAI 评分4444 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Hugging Face Transformers 模型
Hugging Face 介绍了用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型的完整流程，涵盖导出 OpenVINO IR、权重量化与 GenAI API 部署。
Hugging Face BlogAI 评分5959 Hugging Face 将 Llama3 8B 微调至 1.58bit 并开源模型
Hugging Face 官方博客介绍如何用 BitNet 架构把 Llama3 8B 微调到 1.58bit（每参数仅 -1/0/1 三值），模型已发布在 HF1BitLLM 组织下，其中两个用 10B tokens 微调、一个用 100B tokens 微调，MMLU 成绩超过 Llama 1 7B。
Hugging Face Blog精选AI 评分6464 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型阵容：推出 2.6B 参数的 Gemma 2 2B（含 base 与 instruction-tuned 版本）。
推荐理由：梳理了三个新发布的定位与用法，读者可据此判断小模型在端侧和投机解码中的落地路径。
Hugging Face Blog精选AI 评分6161 Hugging Face 教程：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 官方博客讲解如何借助 WWDC 24 新发布的 Core ML 特性，在 Mac 上以不到 4GB 内存运行 Mistral 7B。
推荐理由：逐步骤给出转换与运行命令，读者可照做在 Mac 上跑起 7B 模型并了解各项新特性的作用。
Hugging Face BlogAI 评分3434 在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST 推理与微调
Intel 和 MILA 将蛋白质多模态语言模型 ProtST 重构后发布到 Hugging Face Hub，并演示了用 Optimum for Intel Gaudi 在 Gaudi 2 上运行推理与微调。
Hugging Face BlogAI 评分5454 Hugging Face 与 Microsoft 在 Microsoft Build 上深化合作并发布多项新功能
Hugging Face 在 Microsoft Build 上宣布与 Microsoft 深化战略合作，覆盖云、开源科学、开源库与开发者体验四条线。
Hugging Face BlogAI 评分5555 Hugging Face 教你在 Intel Meteor Lake 笔记本上运行 Phi-2 聊天机器人
Hugging Face 通过 Optimum Intel 集成 Intel OpenVINO，将 2.7B 参数的 Phi-2 模型做 4-bit 权重量化，在搭载 Core Ultra 7 155H 的中端笔记本上运行本地推理。
Hugging Face BlogAI 评分5454 用 Optimum Intel 和 fastRAG 在 CPU 上优化 BGE 嵌入模型
Hugging Face 官方博客展示了如何用 Optimum Intel、Intel Neural Compressor 和 IPEX 对 BGE small/base/large（45M/110M/355M 参数）做 int8 静态量化。
Hugging Face BlogAI 评分3232 AMD Pervasive AI Developer Contest 开放报名，Hugging Face 提供模型部署支持
AMD 联合 Hugging Face 推出 Pervasive AI Developer Contest，面向全球开发者开放报名，设 Generative AI、Robotics AI、PC AI 三个赛道，单项奖金最高 $10,000 USD，总奖金 $160,000 USD，并提供 700 台 AMD 平台供参赛者使用。
Hugging Face BlogAI 评分4444 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 通过 optimum-neuron 支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成，只需将模型编译导出为 Neuron 格式即可用 transformers 库或 pipeline 生成文本。
Hugging Face BlogAI 评分5555 Hugging Face 发布 Swift Transformers 等工具，支持在 Apple 设备上运行 Llama 2 等端侧 LLM
Hugging Face 发布 swift-transformers Swift 包、swift-chat 演示应用，以及更新版 exporters 和 transformers-to-coreml 转换工具，帮助 Swift 开发者在 Apple 设备上通过 Core ML 运行 Llama 2 等大语言模型，并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Hugging Face Blog精选AI 评分6161 Hugging Face 与 Apple 推出 Stable Diffusion XL 的 Core ML 版本与混合位调色板压缩
Hugging Face 与 Apple 合作将 Stable Diffusion XL 移植到 Core ML，发布了 apple/coreml-stable-diffusion-xl-base 完整流水线和 apple/coreml-stable-diffusion-mixed-bit-palettization 版本。
推荐理由：原文给出混合位调色板压缩的逐层比特分配方法与实测体积数据，读者可迁移到自己的 Core ML 模型压缩上。
Hugging Face BlogAI 评分5757 用 Transformers.js 打造浏览器端实时 ML 游戏 Doodle Dash 的教程
Hugging Face 官方博客介绍了如何用 Transformers.js 在浏览器中构建实时 ML 游戏 Doodle Dash，模型基于 Google Quick, Draw!
Hugging Face BlogAI 评分4444 用开源 ML 模型构建 Web 应用生成器
Hugging Face 发布教程，用 NodeJS + Express.js 调用 WizardCoder-15B（经 Inference Endpoints API）流式生成 HTML，实现文本生成网页应用。
Hugging Face BlogAI 评分5656 Hugging Face 教你在 iPhone、iPad 和 Mac 上用 Core ML 更快运行 Stable Diffusion
Hugging Face 介绍 WWDC'23 后 Core ML 与 coremltools 的压缩优化更新，用 6-bit palettization 把 Stable Diffusion 权重从 16-bit 压到每参数 6 bit，推理时逐层即时解压以降低内存占用。
Hugging Face Blog精选AI 评分8888 Hugging Face 推出基于 bitsandbytes 的 4-bit 量化与 QLoRA 集成
Hugging Face 与 bitsandbytes 再次合作，在 transformers 中支持以 4-bit 精度运行大部分 HF 模型（含文本、视觉、多模态），并可基于 4bit 模型训练适配器，对应 Dettmers 等人当天发布的 QLoRA 论文。
推荐理由：原文给出 4bit 加载的具体参数配置与显存实测对照，读者可据此在消费级显卡上复现微调方案。
Hugging Face BlogAI 评分4444 Hugging Face 模型登陆 Elixir 社区：Bumblebee 库发布
Hugging Face 通过纯 Elixir 实现的 Bumblebee 库，将 GPT2 到 Stable Diffusion 等神经网络模型带入 Elixir 社区。
Hugging Face BlogAI 评分5656 Hugging Face 教你在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
Hugging Face 官方博客介绍如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion，已将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 的 Core ML 权重转换并上传至 Hugging Face Hub。
Hugging Face BlogAI 评分4444 Stable Diffusion 在 JAX / Flax 上的推理教程
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax，可在 Google TPU 上运行 Stable Diffusion 推理，教程演示了在 Colab 等环境用 8 个 TPU 加速器并行生成 8 张图片。模型权重以 bf16 版本提供，采用 CreativeML OpenRAIL-M 开放许可，允许再分发与商用，但需向用户附带相同使用限制。
Hugging Face BlogAI 评分3535 Graphcore 与 Hugging Face 推出 IPU 就绪的 Transformers 新阵容
Graphcore 与 Hugging Face 将 Hugging Face Optimum 中可在 IPU 上运行的 Transformer 模型扩展至 10 个，覆盖 NLP、语音和计算机视觉，包括 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2。