在 Amazon EKS 上用 EFA 和 DeepEP 扩展 MoE 强化学习,吞吐量提升 40%
AWS 结合 Amazon EKS、EFA 与 DeepEP 优化 MoE 模型的强化学习后训练,实现吞吐量提升 40%。该架构针对 rollout 生成与策略训练并行的异步 RL 负载,缓解 Expert Parallelism 带来的跨节点 all-to-all 通信瓶颈,适用于 RLHF、GRPO 等大规模 RL 训练流程。
AWS 结合 Amazon EKS、EFA 与 DeepEP 优化 MoE 模型的强化学习后训练,实现吞吐量提升 40%。该架构针对 rollout 生成与策略训练并行的异步 RL 负载,缓解 Expert Parallelism 带来的跨节点 all-to-all 通信瓶颈,适用于 RLHF、GRPO 等大规模 RL 训练流程。
在 Amazon SageMaker HyperPod 上使用开源 RL 框架 SkyRL,通过 GRPO 对 Qwen3-VL-8B 视觉语言模型进行多模态强化学习后训练,在固定 64 个迷宫评测集上把解迷宫成功率从 43.75% 提升到 95% 以上。
AWS 官方博客介绍 NarrateAI 在 Amazon Bedrock 上落地的五项生产级质量保障技术:自适应流水线编排、跨账号多模型故障转移、实时流式评估、复合评估框架和数据准确性校验,实测约 99.3% 数值准确率、约 13 秒开始流式返回。
Amazon SageMaker JumpStart 现已支持部署 Qwen3-TTS-12Hz-1.7B-Base 文本转语音模型到全托管实时推理端点,仅需几秒参考音频即可完成声音克隆,无需重新训练。Qwen3-TTS 支持 10 种语言、流式生成与跨语言克隆,输出 24 kHz 音频,由 vLLM-Omni 容器提供服务。该方案让数据保留在 AWS 环境内,成本随算力用量而非按字符计费。
Datacor 将 Amazon Quick Sight 嵌入 TrackAbout,为工业气体与焊接分销商构建了自助式租赁分析方案,业务用户无需 IT 介入即可用自然语言查询租赁数据。
Runway 本月早些时候发布 GWM Worlds 2 研究预览,把高保真视频与音频生成变成实时交互式模拟,并提出 WorldPrompt 输入格式,可固定环境部分要素(含首帧)并生成带时间戳的事件。
AWS 推出 WhisperX Deep Learning Container,可部署到 Amazon SageMaker AI 实时或异步端点,为语音转写补齐逐词时间戳与说话人标注。
AWS 介绍如何用 Amazon Bedrock AgentCore Gateway 和 MCP 构建多账户 AI 智能体架构,让数据留在各自 AWS 账户内、仅在查询时按需流出。
Aderant 通过 Amazon Bedrock 调用 Amazon Nova Lite 构建 Intelligent Ticket Analyzer,自动完成支持工单的上下文收集、分类与路由,服务 38 人 SierraOps 团队。
NVIDIA Warp 与 MuJoCo Warp(MJWarp)可将兼容的 MuJoCo 模型扩展到最多 2,048 个并行 GPU 仿真环境,用于机器人仿真与学习工作流。MJWarp 基于 NVIDIA Warp 用 CUDA kernel 推进物理仿真,保持同一 MJCF 模型;Warp 支持可微 kernel,并在 1.15 版本引入确定性执行模式。
荷兰零售商 HEMA 基于 Amazon Bedrock AgentCore 和 MCP 构建内部 AI 助手 HAL,将分散在各门户、wiki 中的碎片化知识整合为统一知识层,让工程师在 IDE 或聊天窗口内几秒内获得答案,取代过去跨三四个门户查找的流程。
GitHub Copilot 应用重建了 pull request 视图,用一个含 2,200 个文件、超百万行改动和 400 多条行内评论的开源 PR 做压力测试。它把文档高度拆成确定性的代码几何与动态评论块两套体系,评论高度改为惰性测量、修正锚定在用户当前浏览位置,避免滚动跳动。
Simon Willison 发布了一个用 Fable 5.1 Medium 生成的交互式 artifact,通过实时示例讲解 CSS 的 shadow roots。内容覆盖样式封装、继承、slots、parts 以及 JavaScript 访问,演示 shadow root 如何创建带私有样式表和元素的隔离 DOM 树,并以受控方式与页面 DOM 交互。
NVIDIA 提出 AI 安全是工程问题,需在模型、harness、runtime 等 Agent 技术栈每一层部署可执行边界、可追溯身份与防护证据。开源安全 runtime NVIDIA OpenShell 在 Agent 推理之外强制执行策略并提供沙箱执行,Cisco DefenseClaw 与 JFrog 已基于其构建。
GitHub Podcast 最新一期拆解了五个 AI 热门观点:AI 生成的代码仍需阅读和负责,只是审查力度应按风险分级;Skills 与 MCP 解决不同问题,前者是打包的团队经验,后者是智能体连接工具与数据的标准,可组合使用;RAG 并未消亡,它让模型基于训练数据外的文档、内部知识和代码库上下文作答,避免浪费 token 并减少不完整回答。
GitHub 工程师 Stephen Toub 复盘用 GitHub Copilot 把 Copilot agent runtime 从 TypeScript 重写为超过 80 万行生产级 Rust 的过程,代码主要由 AI 智能体编写,横跨 128 个 PR 并增量上线,性能提升数个数量级。
推荐理由:GitHub 工程师复盘用 Copilot 把运行时从 TypeScript 迁到 Rust 的全过程,含多智能体协作与提示缓存数据。
费城儿童医院(CHOP)基于 NVIDIA 共同创立的开源医学影像框架 MONAI,利用 CT、MRI 和 3D 超声影像在数秒内生成解剖精确的心脏模型,把过去需熟练研究员四小时完成的流程压缩到可常规临床使用的水平。
GitHub 日本和韩国营销负责人用 GitHub Copilot 把活动运营流程自动化:以 GitHub Issue 为工作单元,用 Issue forms 收集活动信息、Labels 触发 GitHub Actions 工作流,活动从单个 Issue 自动搭建、每日筛选报名者并在结束后自动清理。
OpenAI 将 Habitat 从一个 Python 库演进为全球分布式存储平台,服务 10 亿 ChatGPT 用户,峰值达 22M requests per second。文章介绍了这一在线存储系统快速扩展的演进过程。
GitHub Copilot 应用内置 diff、终端和浏览器三个面板,让用户无需切换编辑器、终端和浏览器即可完成审查、运行和预览 AI 生成代码的完整流程。diff 面板以绿红高亮展示代码增删改,支持接受更改、留言或让 Copilot 修改;终端面板可直接运行项目命令并支持多窗口;浏览器面板的 Pick & Polish 工具可选中页面元素并让智能体调整。
César de la Fuente 的实验室使用 Codex 和 ChatGPT 在现存与灭绝基因组中搜索抗菌候选分子,以对抗耐药性感染。
Hugging Face 博客展示了一个基于 TRL v1.14 AsyncGRPOTrainer 的跨 Hugging Face Jobs 异步 GRPO 训练方案:训练端只训练 LoRA 适配器,通过 Storage Bucket 挂载的共享文件系统把几 MB 的适配器传给 vLLM,无需 NCCL。
推荐理由:原文给出五轮对照实验的完整指标变化,读者可据此学会用 AsyncGRPO 指标定位训练瓶颈并复现提速路径。
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 物理油藏模拟器迁移到 C++,该代码库没有测试套件和集中文档。团队先搭建数值一致性校验框架,用自定义解析器生成调用树并让上百个智能体补文档,再以规划、编码、测试、审查的智能体工作流逐模块迁移,由人工审查 PR 把关。
推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,含一致性校验与人工审查节点的取舍。
GitHub 官方博客介绍如何在 GitHub Copilot app 中并行运行多个智能体会话:每个会话独立运行在自己的 Git worktree 上,互不干扰,各自保留上下文,可在 sessions view 中跟踪进度并随时切换。文中以 tailspin-toys 仓库为例,同时发起构建 funded sort 功能、无障碍审查和运行测试三个会话,并建议新手先从两个小任务开始尝试。
作者用 TRL 和 OpenEnv 开源复现了 Surya Narreddi 训练语言模型写 p5.brush 代码画水彩的配方,参考池数据集、RL 环境、训练脚本和模型全部公开,整条流水线可在 Hugging Face 上一条命令跑通。
推荐理由:文章完整拆解了用 TRL 和 OpenEnv 复现审美奖励训练的全过程,含三组奖励配比对比与踩坑记录,可直接迁移。
Hugging Face 发布教程,用 TRL 库的 GRPO 对 LFM2.5-350M 做 LoRA 微调,约 500 条样本、100 步训练,在 IFStruct 基准上通过率从 22.6% 提升到 29.7%,其中 JSON 从 18.0% 升至 31.9%,YAML 基本持平。
Hugging Face 官方博客介绍 Sentence Transformers v6.0 新增的 MultiVectorEncoder 模型类型及其完整训练方法,用于 ColBERT 式后期交互检索。
推荐理由:原文给出可复现的完整训练脚本与关键超参取舍,读者可据此在消费级 GPU 上自建领域多向量检索模型。
Hugging Face 官方博客介绍内置在 Gradio 中的 gr.Workflow,它把 AI 应用流水线描述成带类型节点的图,提供可拖拽画布,每个节点可运行、中间结果可见,同一张图同时是 REST API 并可一键部署到 Hugging Face Spaces。
推荐理由:通过多个可直接复用的示例,展示了把流水线声明为图后自动获得 API 与部署的开发方式。
Hugging Face 官方博客介绍其为 Papers with Code 复兴构建的混合搜索系统:PostgreSQL 全文检索提供词法基线,pgvector 加语义召回,再用 RRF 融合排序,目前维护超过 110,000 篇来自 arXiv 和 Daily Papers 的论文向量。
推荐理由:文章拆解了离线批量与在线查询两条路径的分工方式,以及冷启动降级到全文检索的兜底设计,可迁移性强。
Hugging Face 构建了一个约束感知 GPU 分配器,在 7 个基准场景下与 FIFO 调度器对比,相同硬件与负载下 GPU 利用率最高提升 33 个百分点,优先级加权产出在全部场景中提升,最高达 105%。
Hugging Face 官方博客介绍了 Strands Robots 中的流式数据回路:用一个 Robot() 对象把机器人演示录制进 Hugging Face Storage Buckets、只同步变化字节、直接从 Hub 流式读取训练,再把 checkpoint 以 mode="real" 部署回硬件,全程保持 LeRobot 磁盘格式。
Hugging Face 官方博客对比了自家 ALTK-Evolve 与 ACE 两套智能体记忆系统,二者都拒绝把经验压缩成摘要,差异在于记忆投递方式:ACE 每步注入完整 playbook,ALTK-Evolve 按模型能力选择性检索少量 guideline。
OpenAI CFO Sarah Friar 分享了构建 AI 原生财务职能的五条经验,涵盖自动化预测、更强的控制与 AI ROI。
OpenAI 通过两个 API 设置——保留推理(retaining reasoning)和启用 compaction——使 GPT-5.6 在 ARC-AGI-3 benchmark 上的得分提升至原来的三倍,同时提高了效率。
Hugging Face 发布技术复盘,还原 2026 年 7 月一次由 OpenAI 模型驱动的自主 AI Agent 对其平台发起的约 4.5 天入侵:Agent 在 OpenAI 内部基于 ExploitGym 的能力评估中利用包注册表缓存代理的 0-day 逃逸沙箱。
推荐理由:原文逐条还原攻击链与防御修复项,读者可对照自查自身系统的信任边界与凭据策略。
OpenAI 创意团队用 Codex 构建定制创意工具、加速创意构思并更快完成原型开发。Codex 通过上下文感知的 AI 支持团队的创意工作流程。
OpenAI 介绍了用 ChatGPT Work 落地销售工作流的实用方法,覆盖 pipeline briefs、会议准备、客户账户计划、预测复盘(forecast reviews)和交易诊断(deal diagnosis)等场景。文章以教程形式给出可直接套用的操作思路,帮助销售团队把 ChatGPT Work 接入日常销售流程。
ChatGPT Work 提供根因简报、KPI 备忘录、范围界定分析和仪表板规格四类数据科学工作流的实用做法。文章讲解如何用 ChatGPT Work 完成这些典型数据科学任务的具体流程。
Hugging Face 发布 Profiling in PyTorch 系列第三篇,用 NVIDIA A100-SXM4-80GB 逐一 profile 注意力实现:手写朴素注意力、把 masked_fill 改成 masked_fill_ 的原地版本,以及 SDPA 的 math、efficient、flash、cudnn 四个后端。
推荐理由:通过同一注意力实现在 profiler 下的六种形态对比,读者能学会先猜测再看 trace 的具体分析方法。
OpenAI 发布 ChatGPT 入门指南,教用户开始第一次对话,并用 AI 进行写作、头脑风暴和解决问题。