跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

88 条精选近 30 天 29 条共收录 713 条

更新

精选归档 · 第 3 页

9月22日周二第 41–60 条
9月21日周一
  1. Hugging Face Blog62

    Hugging Face 发布 tokenizers v1:编码提速 3 至 30 倍

    Hugging Face 发布 tokenizers v1 候选版本,在 Apple M4 Max 单线程下编码速度比 v0.23 快 3 至 30 倍,八线程扩展效率为线性的 76%,且输出 token ID 与 v0.23 完全一致。

    推荐理由:原文给出 v1 与 v0.23 的逐项基准对比和实现改动,可据此判断分词器在训练与推理管线中的实际提速空间。

9月17日周四
  1. GitHub Blog · AI & ML75

    GitHub 用 Copilot 将 Copilot 运行时迁移到 Rust 的实践复盘

    GitHub 工程师 Stephen Toub 复盘用 GitHub Copilot 把 Copilot agent runtime 从 TypeScript 重写为超过 80 万行生产级 Rust 的过程,代码主要由 AI 智能体编写,横跨 128 个 PR 并增量上线,性能提升数个数量级。

    推荐理由:GitHub 工程师复盘用 Copilot 把运行时从 TypeScript 迁到 Rust 的全过程,含多智能体协作与提示缓存数据。

9月16日周三
  1. NVIDIA Blog60

    NVIDIA DSX 通过 MaxLPS 与 Flex 提升 AI 工厂每兆瓦产出

    NVIDIA 介绍 DSX 平台如何在固定电力预算下提升 AI 工厂产出:Lambda 在 HGX B200 服务器上首次验证 DSX MaxLPS,用与 16 节点满功率相同的预算运行 19 节点,集群 token 吞吐从约 4 million tokens per second 提升到 5 million(+24%),性能功耗比提升 23%。

    推荐理由:原文给出了 Lambda 实测的吞吐与能效数字,以及电网信号自动降载的生产案例,可据此评估其对电力受限场景的实际价值。

9月9日周三
  1. Mistral AI62

    Mistral 如何用 AI 智能体迁移 4 万行 Fortran 遗留代码

    Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 物理油藏模拟器迁移到 C++,该代码库没有测试套件和集中文档。团队先搭建数值一致性校验框架,用自定义解析器生成调用树并让上百个智能体补文档,再以规划、编码、测试、审查的智能体工作流逐模块迁移,由人工审查 PR 把关。

    推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,含一致性校验与人工审查节点的取舍。

9月1日周二
  1. Hugging Face Blog69

    Hugging Face 发布 @huggingface/kernels:207 个 WebGPU kernel 与浏览器端基准工具 Fleet

    Hugging Face WebAI 团队发布 @huggingface/kernels,一个从 Hub 加载并运行优化 WebGPU kernel 的 JavaScript 库,首批包含 207 个 kernel,以独立仓库形式发布,Apache-2.0 许可,每个 kernel 附带 manifest、正确性测试、benchmark 用例和 WGSL shader 模板。

    推荐理由:原文给出了与 ORT WebGPU 的对比数据和单 kernel 仓库结构,读者可据此评估浏览器端推理优化的实际收益与复用方式。

8月21日周五
  1. Hugging Face Blog62

    Hugging Face 解析 Papers with Code 混合搜索的架构与实践

    Hugging Face 官方博客介绍其为 Papers with Code 复兴构建的混合搜索系统:PostgreSQL 全文检索提供词法基线,pgvector 加语义召回,再用 RRF 融合排序,目前维护超过 110,000 篇来自 arXiv 和 Daily Papers 的论文向量。

    推荐理由:文章拆解了离线批量与在线查询两条路径的分工方式,以及冷启动降级到全文检索的兜底设计,可迁移性强。

8月11日周二
  1. Mistral AI62

    Mistral 推出区域推理端点与 Priority Tier,并接入 GLM-5.2 等第三方开源模型

    Mistral 宣布三项推进 AI 主权的举措:Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲或美国运行;Mistral Priority Tier 进入公开预览,为关键业务负载提供自定义速率限制和带 SLA 的可用性承诺。

    推荐理由:Mistral 把区域推理端点、SLA 优先级层和第三方开源模型接入放在同一套基础设施上,可观察主权 AI 的落地方式。

7月15日周三
  1. Hugging Face Blog81

    Hugging Face 发布 Thinking Machines 的多模态模型 Inkling 及 Inkling-Small

    Hugging Face 上线 Thinking Machines Lab 的 Inkling 系列开源多模态模型,Inkling 为 975B 总参数、41B 激活参数的 decoder-only MoE 模型,原生支持图像、文本、音频输入与 1M 上下文,在 45 trillion token 上训练。

    推荐理由:原文给出架构细节与各部署配置的显存开销,读者可据此判断自己硬件能否跑起来。

7月10日周五
  1. Hugging Face Blog60

    PyTorch Profiling 系列第三篇:在 profiler 下对比六种注意力实现

    Hugging Face 发布 Profiling in PyTorch 系列第三篇,用 NVIDIA A100-SXM4-80GB 逐一 profile 注意力实现:手写朴素注意力、把 masked_fill 改成 masked_fill_ 的原地版本,以及 SDPA 的 math、efficient、flash、cudnn 四个后端。

    推荐理由:通过同一注意力实现在 profiler 下的六种形态对比,读者能学会先猜测再看 trace 的具体分析方法。

6月24日周三
6月23日周二
6月2日周二
  1. Hugging Face Blog74

    Hugging Face 发布 Holo3.1 系列计算机使用智能体模型

    Hugging Face 发布 Holo3.1 系列计算机使用智能体模型,基于 Qwen 家族,提供 0.8B、4B、9B 和 35B-A3B 四种尺寸,并首次提供 FP8、Q4 GGUF、NVFP4 量化权重以支持本地推理。

    推荐理由:给出了各尺寸在移动与桌面基准上的具体提升和量化后的吞吐数据,可据此评估本地部署的可行性。

5月27日周三
5月14日周四
  1. Hugging Face Blog63

    Hugging Face 解锁 continuous batching 的异步化:GPU 活跃率提升至 99.4%

    Hugging Face 博客讲解如何通过分离 CPU 与 GPU 工作负载来提升 LLM 推理性能。同步批处理下 CPU 与 GPU 交替等待,8K tokens、batch size 32、8B 模型的测试中 GPU 空闲占 24.0%,总耗时 300.6 秒。

    推荐理由:原文用可复现的 profile 数据展示了同步批处理的空闲浪费,并给出基于 CUDA streams 与 events 的具体改造路径。

4月27日周一
3月10日周二
  1. Hugging Face Blog62

    Hugging Face Hub 推出 Storage Buckets 对象存储功能

    Hugging Face 在 Hub 上推出 Storage Buckets,一种可浏览、可用 Python 脚本或 hf CLI 管理的可变 S3 式对象存储,用于存放 checkpoint、优化器状态、处理后的数据分片和日志等中间产物。

    推荐理由:原文说明了它与 Git 存储的分工边界以及 Xet 去重带来的成本收益,读者可据此判断是否迁移现有工作流。