跳到正文

技术方向

端侧 AI 最新动态

直接跑在手机、电脑等设备上的 AI:小模型、在本机运行模型的工具与端侧芯片。

38 条精选近 30 天 7 条共收录 165 条

更新

精选归档 · 第 2 页

5月29日周五第 21–38 条
  1. Google Research67

    Google Research 发布 I/O 2026 研究成果综述

    Google Research 发布 I/O 2026 综述,介绍其在科学发现、健康、边缘计算、天气预测、Gemini 核心能力、开发者生产力、隐私保护和量子计算等方向的研究与产品进展。

    推荐理由:官方长文系统梳理了研究到产品的转化路径,读者可据此理解其各条线的布局重点。

4月28日周二
  1. Hugging Face Blog74

    NVIDIA 发布 Nemotron 3 Nano Omni 多模态理解模型

    NVIDIA 发布 Nemotron 3 Nano Omni,一个面向文档分析、多图推理、语音识别、长音视频理解与智能体计算机使用的全模态理解模型,已在 Hugging Face 开放 BF16、FP8 和 NVFP4 权重。

    推荐理由:原文给出架构细节、训练配方与多组基准对比,读者可据此评估它在文档、音视频与智能体场景的可用性。

4月3日周五
  1. Google DeepMind83

    Google DeepMind 发布开源模型 Gemma 4 系列

    Google DeepMind 发布 Gemma 4 开源模型系列,采用 Apache 2.0 许可,包含 E2B、E4B、26B MoE 和 31B Dense 四种尺寸,主打推理与智能体工作流。

    推荐理由:原文给出了各尺寸的硬件适配与开源许可细节,读者可据此判断本地部署和微调的可行路径。

4月2日周四
  1. Hugging Face Blog88

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 在 Hugging Face 上发布 Gemma 4 多模态模型家族,采用 Apache 2 许可,共五个尺寸(E2B、E4B、12B Unified、31B、26B A4B MoE),均提供 base 与 IT 检查点,支持图像、文本输入,小尺寸与 12B Unified 还支持音频。

    推荐理由:原文列出五档尺寸、架构取舍与各基准分数,读者可据此判断端侧与 MoE 方案的实际取舍。

2月9日周一
  1. Hugging Face Blog72

    Hugging Face 发布 Transformers.js v4,WebGPU 加速覆盖 Node、Bun 与 Deno

    Hugging Face 宣布 Transformers.js v4 已发布到 NPM(npm i @huggingface/transformers),核心变化是采用用 C++ 重写的全新 WebGPU Runtime,与 ONNX Runtime 团队合作在约 200 个已支持模型架构上完成测试,同一份代码可运行于浏览器、Node、Bun 和 Deno。

    推荐理由:原文给出了构建耗时、包体积和推理速度的具体数字,读者可据此评估升级到 v4 的实际收益。

2025年10月29日周三
  1. Hugging Face Blog67

    Hugging Face 分析全球算力格局变化:中国国产芯片与开源模型的相互推动

    Hugging Face 博文分析了全球 AI 算力格局的变化:美国出口管制与中国国产芯片发展相互关联,近几个月中国高性能开源模型的推理已开始由华为 Ascend、Cambricon 等国产芯片承载,部分模型也开始用国产芯片训练。

    推荐理由:梳理了美国出口管制与中国国产芯片、开源模型发展之间的相互作用,可帮助读者理解全球算力格局变化的来龙去脉。

2025年9月4日周四
  1. Hugging Face Blog73

    Google 发布 EmbeddingGemma 多语言嵌入模型

    Google 发布 EmbeddingGemma(google/embeddinggemma-300m),一款 308M 参数、2K 上下文窗口、支持 100 多种语言的多语言嵌入模型,面向端侧场景,量化后内存占用低于 200 MB,在 MTEB 上是 500M 以下排名最高的纯文本多语言嵌入模型。

    推荐理由:给出了架构改动、多框架接入方式和微调脚本,读者可据此判断如何在端侧 RAG 中落地该模型。

2025年6月26日周四
  1. Hugging Face Blog81

    Gemma 3n 在开源生态全面开放可用

    Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama、Google AI Edge 等主流开源库开放可用,原生支持图像、文本、音频和视频输入。

    推荐理由:原文给出了模型规格、显存需求和各库接入方式,读者可据此判断能否在自己的设备上跑起来。

2025年3月17日周一
  1. Mistral AI74

    Mistral AI 发布 Mistral Small 3.1 模型

    Mistral AI 宣布发布 Mistral Small 3.1,基于 Mistral Small 3 升级,改进了文本性能与多模态理解,上下文窗口扩展至 128k tokens,推理速度达 150 tokens per second,以 Apache 2.0 许可开源。

    推荐理由:原文列出了上下文、速度与运行门槛,读者可据此判断它是否适合端侧与低延迟场景。

2025年2月20日周四
  1. Hugging Face Blog62

    Hugging Face 发布 SmolVLM2 系列视频理解模型

    Hugging Face 发布 SmolVLM2 系列三个新模型,参数量分别为 2.2B、500M 和 256M,主打在手机到服务器等各类设备上运行视频理解。2.2B 版本在 Video-MME 上超过现有 2B 模型,500M 和 256M 版本被称为迄今发布的最小视频语言模型,其中 500M 版本以不到四分之一的参数量接近 2.2B 的视频理解能力。

    推荐理由:原文给出三档参数量、Video-MME 表现和 MLX/Swift 接入方式,读者可据此判断小模型视频理解能否落到自己的设备上。

2025年1月30日周四
2024年10月22日周二
2024年10月16日周三
  1. Mistral AI63

    Mistral AI 发布 Ministral 3B 和 Ministral 8B 端侧模型

    Mistral AI 在 Mistral 7B 发布一周年之际推出两款面向端侧计算的模型 Ministral 3B 和 Ministral 8B,称其在 sub-10B 类别的知识、常识、推理、function-calling 和效率上达到新水平。

    推荐理由:原文给出了 sub-10B 端侧模型的能力定位、定价与部署细节,便于读者评估其在本地推理场景的可用性。

2024年9月25日周三
2024年7月31日周三
2024年7月22日周一
2023年7月27日周四
  1. Hugging Face Blog61

    Hugging Face 与 Apple 推出 Stable Diffusion XL 的 Core ML 版本与混合位调色板压缩

    Hugging Face 与 Apple 合作将 Stable Diffusion XL 移植到 Core ML,发布了 apple/coreml-stable-diffusion-xl-base 完整流水线和 apple/coreml-stable-diffusion-mixed-bit-palettization 版本。

    推荐理由:原文给出混合位调色板压缩的逐层比特分配方法与实测体积数据,读者可迁移到自己的 Core ML 模型压缩上。

2023年5月24日周三
  1. Hugging Face Blog88

    Hugging Face 推出基于 bitsandbytes 的 4-bit 量化与 QLoRA 集成

    Hugging Face 与 bitsandbytes 再次合作,在 transformers 中支持以 4-bit 精度运行大部分 HF 模型(含文本、视觉、多模态),并可基于 4bit 模型训练适配器,对应 Dettmers 等人当天发布的 QLoRA 论文。

    推荐理由:原文给出 4bit 加载的具体参数配置与显存实测对照,读者可据此在消费级显卡上复现微调方案。