跳到正文
  1. AWS Machine Learning Blog61

    AWS 教程:在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏

    AWS 发布教程,介绍如何在 Amazon SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三道检查来检测静默数据损坏(SDC):all-reduce 前后的 NaN/Inf 梯度检查、跨节点重放的 ring replay 审计、以及 optimizer 更新后的权重指纹比对。

    推荐理由:原文给出三道检查的实现代码与开销实测数据,读者可据此评估在自己训练任务中落地的成本与收益。

  1. Hugging Face Blog62

    Hugging Face 推出 Decision Models 决策模型接口与生态支持

    Hugging Face 介绍决策模型(decision model)概念及其在生态中的落地:模型接收 state 与 questions,直接返回带概率的结构化决策而不生成文本,接口包含 choice、score、noul 三种原语,并给出 confidence 计算方式。

    推荐理由:原文梳理了决策模型的接口设计与三种原语,并说明 Transformers 和 llama.cpp 如何通过同一 API 提供服务。

  1. AWS Machine Learning Blog62

    AWS 教程:生产级 AI 智能体的四层上下文工程实践

    AWS Machine Learning Blog 发布教程第二篇,讲解生产级 AI 智能体的四层上下文工程方法,并以开源多智能体数据分析方案 Deep Insight(基于 Strands Agents SDK 和 Amazon Bedrock AgentCore)作为参考实现展示代码。

    推荐理由:以开源参考实现逐层给出可直接照抄的代码与配置,把四层上下文工程从概念落到具体实现。

  1. AWS Machine Learning Blog62

    Amazon SageMaker AI 多轮强化学习实战指南:Wordle 上把 gpt-oss-20b 解题率从 61% 提到 84%

    AWS 官方教程演示如何在 Amazon SageMaker AI 上用多轮强化学习(MTRL)训练托管在 Amazon Bedrock AgentCore 上的智能体,以 Wordle 为例走通部署、数据准备、训练、MLflow 监控与评测全流程。

    推荐理由:原文完整给出多轮强化学习的端到端流程、成本拆解和踩坑记录,可直接迁移到自有多步任务的训练设计。

  1. Hugging Face Blog61

    Hugging Face 与 NVIDIA 教你用 Isaac Lab 训练 Microduck 行走并部署到真机

    Hugging Face Blog 发布教程,介绍如何用 Isaac Lab 与 Newton 训练开源双足机器人 Microduck 的行走策略,导出 ONNX 后部署到真机。

    推荐理由:教程给出从仿真训练到真机部署的完整命令与接口约束,读者可照此复现双足机器人行走策略的迁移流程。

  1. AWS Machine Learning Blog62

    AWS 用 Amazon Bedrock AgentCore 构建九阶段智能体评估框架

    AWS SMGS Operations 团队分享了基于 Amazon Bedrock AgentCore Evaluations 的九阶段评估框架,覆盖从首次提交到生产响应的完整智能体生命周期,用于保障面向 AWS 全球现场销售的多智能体系统质量。

    推荐理由:原文用真实生产故障和九阶段框架展示了如何把智能体质量从一次性验收变成贯穿生命周期的持续机制,可迁移性强。

  1. AWS Machine Learning Blog62

    在 Amazon Bedrock 上用 Grok 4.7 构建长程智能体并评测推理档位

    AWS 博客介绍 Grok 4.7 已在 Amazon Bedrock 上线,并构建一个工具调用智能体,在三个需要搜索而非查表的任务上以四个 reasoning effort 档位各跑 6 次共 72 次,答对 67 次:xhigh 全对 18/18,low 答对 15/18 但输出 token 约为 xhigh 的八分之一。

    推荐理由:原文给出可复现的评测设计与四档推理档位的 token 与正确率对照,读者可据此在自己任务上量测成本质量权衡。

  1. Hugging Face Blog62

    Ai2 用 GPU 时间预算重构集群调度器

    Ai2 团队用 GPU 时间预算、层级公平份额分配和时间片合约取代了原有的优先级调度器,把 GPU 时间分配从逐案协商变成透明的预算流程。新系统要求每个请求由预算支撑,配合 7 天回看窗口的公平份额排序和 8 小时最小运行时保护,30 天测试期内团队拿到了 98% 应得 GPU 小时,集群占用率保持 98%,调试任务 p90 等待时间从 2 小时降到 30 秒,需人工介入的维修下降 74%。

    推荐理由:原文完整拆解了从优先级调度到预算制调度的迁移过程与量化收益,可迁移性强。

  1. GitHub Blog · AI & ML75

    GitHub 用 Copilot 将 Copilot 运行时迁移到 Rust 的实践复盘

    GitHub 工程师 Stephen Toub 复盘用 GitHub Copilot 把 Copilot agent runtime 从 TypeScript 重写为超过 80 万行生产级 Rust 的过程,代码主要由 AI 智能体编写,横跨 128 个 PR 并增量上线,性能提升数个数量级。

    推荐理由:GitHub 工程师复盘用 Copilot 把运行时从 TypeScript 迁到 Rust 的全过程,含多智能体协作与提示缓存数据。

  1. Mistral AI62

    Mistral 如何用 AI 智能体迁移 4 万行 Fortran 遗留代码

    Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 物理油藏模拟器迁移到 C++,该代码库没有测试套件和集中文档。团队先搭建数值一致性校验框架,用自定义解析器生成调用树并让上百个智能体补文档,再以规划、编码、测试、审查的智能体工作流逐模块迁移,由人工审查 PR 把关。

    推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,含一致性校验与人工审查节点的取舍。

  1. Hugging Face Blog62

    Hugging Face 解析 Papers with Code 混合搜索的架构与实践

    Hugging Face 官方博客介绍其为 Papers with Code 复兴构建的混合搜索系统:PostgreSQL 全文检索提供词法基线,pgvector 加语义召回,再用 RRF 融合排序,目前维护超过 110,000 篇来自 arXiv 和 Daily Papers 的论文向量。

    推荐理由:文章拆解了离线批量与在线查询两条路径的分工方式,以及冷启动降级到全文检索的兜底设计,可迁移性强。

  1. Hugging Face Blog60

    PyTorch Profiling 系列第三篇:在 profiler 下对比六种注意力实现

    Hugging Face 发布 Profiling in PyTorch 系列第三篇,用 NVIDIA A100-SXM4-80GB 逐一 profile 注意力实现:手写朴素注意力、把 masked_fill 改成 masked_fill_ 的原地版本,以及 SDPA 的 math、efficient、flash、cudnn 四个后端。

    推荐理由:通过同一注意力实现在 profiler 下的六种形态对比,读者能学会先猜测再看 trace 的具体分析方法。

  1. Hugging Face Blog64

    Hugging Face 用开源工具与 GLM-5.2 把 huggingface_hub 发布改为每周一次

    Hugging Face 将 huggingface_hub 的发布节奏从每 4 到 6 周一次改为每周一次,整条流程由单个 GitHub Actions 工作流驱动。

    推荐理由:原文给出可直接 fork 的信任校验闭环,即确定性清单加模型草稿加校验重提示,可迁移到任何需要生成发布说明的项目。

  1. Hugging Face Blog63

    Hugging Face 解锁 continuous batching 的异步化:GPU 活跃率提升至 99.4%

    Hugging Face 博客讲解如何通过分离 CPU 与 GPU 工作负载来提升 LLM 推理性能。同步批处理下 CPU 与 GPU 交替等待,8K tokens、batch size 32、8B 模型的测试中 GPU 空闲占 24.0%,总耗时 300.6 秒。

    推荐理由:原文用可复现的 profile 数据展示了同步批处理的空闲浪费,并给出基于 CUDA streams 与 events 的具体改造路径。

  1. Hugging Face Blog62

    Hugging Face 用七个维度对比16个开源异步RL训练库

    Hugging Face Blog 发布长文,为 TRL 的异步训练器设计做调研,按七个维度(编排原语、rollout buffer 设计、权重同步协议、staleness 管理、partial rollout 处理、LoRA 支持、分布式训练后端)对比了16个从零围绕异步训练构建的开源库。

    推荐理由:文章用七个维度拆解了16个开源RL库的异步训练设计,读者可据此对比选型并理解各自权衡。

  1. Hugging Face Blog70

    Hugging Face 博客解读 MoE 在 transformers 中的工程实现

    Hugging Face 官方博客介绍 Mixture of Experts (MoE) 的原理及其在 transformers 库中的工程支持。文章以 gpt-oss-20b 为例说明总参数与激活参数的区别(21B 总参数、每 token 激活约 3.6B),并给出 M3 Ultra 上约 115 tok/s 的实测速度。

    推荐理由:文章把 MoE 原理与 transformers 库的加载、后端、并行改造串起来,读者可据此理解工程落地路径。

  1. Hugging Face Blog70

    Hugging Face 发布 CUDA kernel agent skill,让 Claude 和 Codex 端到端生成可用 kernel

    Hugging Face 发布了一个教编码智能体编写生产级 CUDA kernel 的 agent skill,随 kernels 库提供,可用 kernels skills add cuda-kernels --claude 等命令装入 Claude、Codex、OpenCode 等智能体。

    推荐理由:给出了可直接安装的 skill 命令和两组真实基准数据,读者可据此评估它能否用于自己的 kernel 工作流。

  1. Mistral AI61

    Mistral AI 排查 vLLM 分离式部署内存泄漏:UCX mmap hook 是元凶

    Mistral AI 在 Engineering Deep Dive 系列首篇文章中复盘了排查 vLLM 内存泄漏的过程:在 Mistral Medium 3.1 配合 Prefill/Decode 分离式部署且启用 graph compilation 时,系统内存以 400 MB/分钟线性增长。

    推荐理由:逐层递进的排查路径和每种工具的失效原因,对定位同类底层内存问题有直接可迁移的方法价值。

  1. Hugging Face Blog74

    Hugging Face 解析 transformers 为 OpenAI gpt-oss 升级的八项优化技巧

    Hugging Face 官方博客详解为支持 OpenAI gpt-oss 系列而对 transformers 库做的多项升级,包括可从 Hub 下载的零构建 kernels、MXFP4 量化、Tensor Parallelism、Expert Parallelism、动态滑动窗口层与缓存、连续批处理与 Paged Attention 以及更快加载大模型。

    推荐理由:逐项拆解了可直接复用的配置参数与代码片段,读者可按需移植到自己的模型上。