跳到正文

技术方向

端侧 AI 最新动态

直接跑在手机、电脑等设备上的 AI:小模型、在本机运行模型的工具与端侧芯片。

38 条精选近 30 天 8 条共收录 162 条

更新

端侧 AI的精选

11月11日周三第 1–20 条
  1. Hugging Face Blog62

    Tether AI Research 开源 0.8B 端侧智能体模型 BotPsy

    Tether AI Research 发布 BotPsy,一个基于 Qwen3.5-0.8B 构建、面向函数调用与智能体工作流的 0.8B 参数端侧模型,将以 Apache 2.0 许可开源权重,提供 bf16、Q8、Q4 三种精度的 safetensors 与 GGUF 文件。

    推荐理由:原文给出四阶段训练配方与逐项基准对比,可据此理解小模型如何在工具调用上追平更大模型。

11月6日周五
10月29日周四
10月28日周三
  1. Hugging Face Blog74

    Liquid AI 发布 LFM3 系列:单一骨干衍生六款 2B 级多模态模型

    Liquid AI 发布新一代 LFM3 系列,以 LFM3-1.7B-Base 为共享骨干衍生出文本、视觉、音频、omni 和决策共六款 2B 级模型,全部开源并可在 Hugging Face 下载。

    推荐理由:原文给出架构改动、基准对比和微调入口,读者可据此评估 2B 级模型能否替代自己的通用大模型。

10月24日周六
10月21日周三
  1. NVIDIA Blog61

    NVIDIA 扩展 Nemotron、Kumo、Cosmos 等开放模型组合

    NVIDIA 扩展其在语言、机器人、生物和量子计算领域的开放模型组合,包括 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Nemotron Retriever、Kumo、Cosmos 3.5、Alpamayo 2 Edge、BioNeMo 和 Ising,供开发者用本地数据定制并部署在自有基础设施上。

    推荐理由:原文逐项列出各模型的开放入口和合作方,读者可据此判断哪些能力已可直接取用。

10月20日周二
  1. Hugging Face Blog74

    PyTorch 2.15 为 Mac 的 MPS 后端带来 FP8 支持与更快的 LLM 解码

    Hugging Face 的 PyTorch 团队发布 PyTorch 2.15 的 MPS 更新:FP8(torch.float8_e4m3fn)登陆 Mac,可用 F.scaled_mm 直接做缩放矩阵乘法,占用内存为 BF16 的一半。

    推荐理由:原文用具体吞吐和内存数字说明了 MPS 后端在 Mac 上的能力变化,读者可据此判断本地推理与视频生成工作流的可行性提升。

10月15日周四
  1. NVIDIA Blog72

    NVIDIA 发布 Nemotron 3.5 Super VL 与 Bolt 系列开源模型

    NVIDIA 发布开源 1200 亿参数模型 Nemotron 3.5 Super VL,以及面向边缘的 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Bolt E4B 4GB 两款模型,覆盖从企业服务器到本地设备的智能体部署。

    推荐理由:原文给出了三档模型的参数、显存与部署入口,读者可据此判断从数据中心到本地设备的选型路径。

10月14日周三
10月8日周四
  1. NVIDIA Blog72

    NVIDIA 与 Microsoft 联合推出 RTX Spark 笔记本并预热 DGX Station for Windows

    NVIDIA 与 Microsoft 在旧金山 Windows AI and Surface 活动上宣布共同为 Windows PC 打造 AI 智能体的软硬件,RTX Spark 笔记本今日开启预售、10 月 16 日上市,紧凑型台式机 11 月开售。

    推荐理由:原文给出具体硬件规格与开放购买时间,读者可据此判断本地运行大模型的可行性。

  2. Hugging Face Blog62

    Liquid AI 开源 d1-3B 与 d1-omni-600M 决策模型

    Liquid AI 发布 d1 决策模型家族的两款开放权重模型 d1-3B 和 d1-omni-600M(实验版),在 Decision Index 0.2.1 上 d1-3B 得分 48.57,超过所有 4B、9B 模型以及 Decider 35B-A3B(47.11)。

    推荐理由:给出了不同设备上的实测延迟和基准分数,读者可据此判断它是否满足自己的端侧部署预算。

10月7日周三
  1. Google DeepMind72

    Google DeepMind 发布 EmbeddingGemma 2 多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、采用 Apache 2.0 许可的 740M 参数多模态嵌入模型,将文本、代码、图像、视频和音频统一映射到共享嵌入空间。

    推荐理由:给出了参数量、内存占用与上下文长度等具体指标,读者可据此判断它是否适合端侧部署。

10月2日周五
  1. NVIDIA Blog62

    NVIDIA DGX Spark 推出 64GB 版本,10 月 23 日开售

    NVIDIA 宣布 DGX Spark 将于本月推出 64GB 统一内存版本,10 月 23 日起在 Acer、ASUS、Dell、Gigabyte、HP、MSI 开售,起价 $4,999,预装 DGX OS 与 NVIDIA AI 软件栈,支持在设备本地运行最高 100-billion-parameter 模型。

    推荐理由:原文给出配置、价格与组网扩展路径,读者可据此评估本地跑智能体的可行方案。

8月14日周五
  1. Hugging Face Blog61

    Hugging Face 发布 2026 夏季开源模型生态观察报告

    Hugging Face 发布 2026 年 1 月至 8 月的开源模型生态观察报告,覆盖六大发现。公开模型仓库从 2.43 增至 2.96 百万,但 85.6% 模型下载不足 200 次,1.5% 仓库占 99.2% 下载量;中国实验室月度最大开源模型参数在 754B 至 2.78T 之间,多款超 100B 美国模型基于中国模型构建。

    推荐理由:报告用下载、衍生模型、许可证等多组数据拆解了开源生态的注意力与实际采用差异,可迁移的判断框架清晰。

8月12日周三
  1. Google DeepMind74

    Google DeepMind 发布手语转文字模型 SL2T,落地 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文字(SL2T)模型,率先在 Pixel 11 的 Gboard 和 Live Transcribe 中提供美式手语(ASL)转英文的签名输入功能,后续将支持更多设备与语言。

    推荐理由:原文交代了手语翻译相比语音转写的两类核心难点,以及用姿态关键点替代原始视频的隐私设计,便于理解该模型的技术取舍。

8月10日周一
  1. Hugging Face Blog78

    Meta 发布开源多模态模型 Muse Glimmer-30B,面向本地智能体场景

    Meta 发布 Muse Glimmer-30B,一款从 Muse 蒸馏至 30B 参数、采用 Apache 2.0 许可的多模态模型,面向本地智能体用例,适用于编码、文档分析、个人助手等注重隐私的场景。

    推荐理由:原文给出架构细节与部署入口,读者可据此判断本地智能体场景下的落地成本与可行性。

6月22日周一
  1. Hugging Face Blog62

    Hugging Face 用本地模型免费完成 OpenClaw 仓库 PR 分类

    Hugging Face 博客介绍了用本地模型 gemma-4-26b-a4b 和 qwen3.6-35b-a3b 搭配 pi agent harness 与受限 reposhell,在 NVIDIA GB10(DGX Spark,128 GB 统一内存)上对 OpenClaw 仓库的 issue 和 PR 做实时分类与 Discord 通知的完整方案。

    推荐理由:给出了本地模型做高吞吐分类的完整配方与实测数据,可迁移到其他实时筛选场景。

6月11日周四
  1. Google DeepMind74

    Google DeepMind 开源实验性扩散文本模型 DiffusionGemma,推理提速最高 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式一次并行生成整段文本,在专用 GPU 上文本生成速度最高提升 4 倍,单张 NVIDIA H100 可达 1000+ tokens per second,NVIDIA GeForce RTX 5090 可达 700+ tokens per second。

    推荐理由:原文给出了速度、显存与质量取舍的具体数据,读者可据此判断它是否适合本地交互场景。

6月9日周二
6月2日周二
  1. Hugging Face Blog74

    Hugging Face 发布 Holo3.1 系列计算机使用智能体模型

    Hugging Face 发布 Holo3.1 系列计算机使用智能体模型,基于 Qwen 家族,提供 0.8B、4B、9B 和 35B-A3B 四种尺寸,并首次提供 FP8、Q4 GGUF、NVFP4 量化权重以支持本地推理。

    推荐理由:给出了各尺寸在移动与桌面基准上的具体提升和量化后的吞吐数据,可据此评估本地部署的可行性。