跳到正文
2月27日周五
2月26日周四
  1. Hugging Face Blog70

    Hugging Face 博客解读 MoE 在 transformers 中的工程实现

    Hugging Face 官方博客介绍 Mixture of Experts (MoE) 的原理及其在 transformers 库中的工程支持。文章以 gpt-oss-20b 为例说明总参数与激活参数的区别(21B 总参数、每 token 激活约 3.6B),并给出 M3 Ultra 上约 115 tok/s 的实测速度。

    推荐理由:文章把 MoE 原理与 transformers 库的加载、后端、并行改造串起来,读者可据此理解工程落地路径。

2月20日周五
  1. Hugging Face Blog78

    GGML 与 llama.cpp 加入 Hugging Face

    Hugging Face 宣布 GGML(llama.cpp 的创建者)及其团队加入 HF,以在 Local AI 快速发展期间为项目提供长期可持续资源。合并后 Georgi Gerganov 和团队仍 100% 投入维护 llama.cpp,在技术方向和社区上保持完全自治,项目继续 100% 开源并由社区驱动。

    推荐理由:说明了合并后 llama.cpp 保持自治与开源的原因,以及 transformers 与本地推理栈打通的技术方向。

2月13日周五
  1. Hugging Face Blog70

    Hugging Face 发布 CUDA kernel agent skill,让 Claude 和 Codex 端到端生成可用 kernel

    Hugging Face 发布了一个教编码智能体编写生产级 CUDA kernel 的 agent skill,随 kernels 库提供,可用 kernels skills add cuda-kernels --claude 等命令装入 Claude、Codex、OpenCode 等智能体。

    推荐理由:给出了可直接安装的 skill 命令和两组真实基准数据,读者可据此评估它能否用于自己的 kernel 工作流。

2月9日周一
  1. Hugging Face Blog72

    Hugging Face 发布 Transformers.js v4,WebGPU 加速覆盖 Node、Bun 与 Deno

    Hugging Face 宣布 Transformers.js v4 已发布到 NPM(npm i @huggingface/transformers),核心变化是采用用 C++ 重写的全新 WebGPU Runtime,与 ONNX Runtime 团队合作在约 200 个已支持模型架构上完成测试,同一份代码可运行于浏览器、Node、Bun 和 Deno。

    推荐理由:原文给出了构建耗时、包体积和推理速度的具体数字,读者可据此评估升级到 v4 的实际收益。

1月27日周二
1月22日周四
  1. Mistral AI61

    Mistral AI 排查 vLLM 分离式部署内存泄漏:UCX mmap hook 是元凶

    Mistral AI 在 Engineering Deep Dive 系列首篇文章中复盘了排查 vLLM 内存泄漏的过程:在 Mistral Medium 3.1 配合 Prefill/Decode 分离式部署且启用 graph compilation 时,系统内存以 400 MB/分钟线性增长。

    推荐理由:逐层递进的排查路径和每种工具的失效原因,对定位同类底层内存问题有直接可迁移的方法价值。

1月21日周三
1月20日周二
  1. Hugging Face Blog61

    Overworld 发布实时交互视频扩散模型 Waypoint-1 与推理库 WorldEngine

    Overworld 发布实时交互视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,用 10,000 小时游戏画面训练,支持零延迟自由控制相机与按键输入。

    推荐理由:原文对比了与现有世界模型在控制延迟上的差异,并给出推理库的具体吞吐与帧率数据,便于评估其实用性。

1月14日周三
1月9日周五
1月8日周四
2025年12月11日周四
2025年12月5日周五
2025年12月1日周一
2025年11月25日周二
2025年11月22日周六
  1. Google Research36

    Google Research:用简单线性回归模型预测电动车充电端口可用性

    Google Research 发布了一个轻量级预测模型,用线性回归预测特定充电站若干分钟后端口可用的概率,以缓解电动车续航焦虑。模型以一天中的小时为特征,在 CA 和德国两个地区的真实充电网络数据上训练,测试覆盖 100 个随机站点、30 分钟与 60 分钟两个时间窗口,每天采样 48 次持续一周。

2025年11月20日周四
2025年11月17日周一
2025年11月5日周三
2025年10月30日周四
2025年10月27日周一
  1. Hugging Face Blog62

    huggingface_hub v1.0 发布:迁移到 httpx、重做 hf CLI 并全面启用 hf_xet

    Hugging Face 官方宣布 huggingface_hub 发布 v1.0,这是该库五年 35+ 个版本后的首个大版本,支撑 GitHub 上 200,000+ 仓库和 PyPI 上 3,000 个包,月下载量达 113.5 million。

    推荐理由:官方系统梳理了 v1.0 的破坏性变更与迁移路径,读者可据此评估升级影响与兼容范围。

  2. Hugging Face Blog62

    Hugging Face datasets 流式加载提速,启动请求最多减少 100 倍

    Hugging Face 官方博客宣布 datasets 库的 streaming=True 流式加载获得大幅优化:数据文件解析时间快 10 倍、启动请求最多减少 100 倍、流式速度最高提升 2 倍,在 256 并发 worker 下零崩溃。

    推荐理由:原文拆解了启动与流式两个阶段的具体优化手段,读者可迁移其缓存与预取思路到自己的数据管线。

2025年10月24日周五
2025年10月16日周四
2025年10月15日周三
2025年10月14日周二
2025年10月13日周一
  1. OpenAI News70

    OpenAI 与 Broadcom 达成多年期合作,2029 年前部署 10 吉瓦自研 AI 加速器

    OpenAI 与 Broadcom 宣布达成多年期合作,部署 10 gigawatts 的 OpenAI 自研 AI 加速器,并共同开发下一代系统与 Ethernet 方案,以在 2029 年前支撑可扩展、高能效的 AI 基础设施。

    推荐理由:原文给出了合作规模与时间表,读者可据此理解 OpenAI 在自研加速器与算力基础设施上的布局方向。

2025年10月11日周六
2025年10月6日周一
2025年9月29日周一
2025年9月23日周二
2025年9月22日周一
2025年9月19日周五
2025年9月17日周三
2025年9月11日周四
  1. Hugging Face Blog74

    Hugging Face 解析 transformers 为 OpenAI gpt-oss 升级的八项优化技巧

    Hugging Face 官方博客详解为支持 OpenAI gpt-oss 系列而对 transformers 库做的多项升级,包括可从 Hub 下载的零构建 kernels、MXFP4 量化、Tensor Parallelism、Expert Parallelism、动态滑动窗口层与缓存、连续批处理与 Paged Attention 以及更快加载大模型。

    推荐理由:逐项拆解了可直接复用的配置参数与代码片段,读者可按需移植到自己的模型上。

2025年9月2日周二