在 Amazon SageMaker HyperPod 上用 SkyRL 加速多模态 RL 训练
在 Amazon SageMaker HyperPod 上使用开源 RL 框架 SkyRL,通过 GRPO 对 Qwen3-VL-8B 视觉语言模型进行多模态强化学习后训练,在固定 64 个迷宫评测集上把解迷宫成功率从 43.75% 提升到 95% 以上。
在 Amazon SageMaker HyperPod 上使用开源 RL 框架 SkyRL,通过 GRPO 对 Qwen3-VL-8B 视觉语言模型进行多模态强化学习后训练,在固定 64 个迷宫评测集上把解迷宫成功率从 43.75% 提升到 95% 以上。
AWS 官方博客介绍 NarrateAI 在 Amazon Bedrock 上落地的五项生产级质量保障技术:自适应流水线编排、跨账号多模型故障转移、实时流式评估、复合评估框架和数据准确性校验,实测约 99.3% 数值准确率、约 13 秒开始流式返回。
Amazon SageMaker JumpStart 现已支持部署 Qwen3-TTS-12Hz-1.7B-Base 文本转语音模型到全托管实时推理端点,仅需几秒参考音频即可完成声音克隆,无需重新训练。Qwen3-TTS 支持 10 种语言、流式生成与跨语言克隆,输出 24 kHz 音频,由 vLLM-Omni 容器提供服务。该方案让数据保留在 AWS 环境内,成本随算力用量而非按字符计费。
Datacor 将 Amazon Quick Sight 嵌入 TrackAbout,为工业气体与焊接分销商构建了自助式租赁分析方案,业务用户无需 IT 介入即可用自然语言查询租赁数据。
Amazon SageMaker HyperPod 搭配 Qumulo 的 Cloud Data Fabric(CDF)可让训练算力与数据分处不同 AWS Region,无需复制数据即可远程读取。
AWS 推出 WhisperX Deep Learning Container,可部署到 Amazon SageMaker AI 实时或异步端点,为语音转写补齐逐词时间戳与说话人标注。
AWS 介绍如何用 Amazon Bedrock AgentCore Gateway 和 MCP 构建多账户 AI 智能体架构,让数据留在各自 AWS 账户内、仅在查询时按需流出。
Aderant 通过 Amazon Bedrock 调用 Amazon Nova Lite 构建 Intelligent Ticket Analyzer,自动完成支持工单的上下文收集、分类与路由,服务 38 人 SierraOps 团队。
Liquid AI 发布实验性草稿模型 LFM2.5-VL-DSpark,为视觉语言模型 LFM2.5-VL-3B 加入投机解码路径,解码最高提速 3.13x(端侧)和 2.66x(H100),端到端最高提升 2.62x 和 2.27x。该草稿模型仅增加 280M 参数(约 8.9%),并首日支持 llama.cpp、MLX-VLM 和 SGLang。
Remedy Entertainment 的 CONTROL Resonant 已在发售当日登陆 GeForce NOW,Ultimate 会员可以 GeForce RTX 5080 级性能串流游玩,支持 DLSS 4、光线追踪与最高 5K HDR,无需 100GB 本地安装。
NVIDIA Warp 与 MuJoCo Warp(MJWarp)可将兼容的 MuJoCo 模型扩展到最多 2,048 个并行 GPU 仿真环境,用于机器人仿真与学习工作流。MJWarp 基于 NVIDIA Warp 用 CUDA kernel 推进物理仿真,保持同一 MJCF 模型;Warp 支持可微 kernel,并在 1.15 版本引入确定性执行模式。
荷兰零售商 HEMA 基于 Amazon Bedrock AgentCore 和 MCP 构建内部 AI 助手 HAL,将分散在各门户、wiki 中的碎片化知识整合为统一知识层,让工程师在 IDE 或聊天窗口内几秒内获得答案,取代过去跨三四个门户查找的流程。
GitHub Copilot 应用重建了 pull request 视图,用一个含 2,200 个文件、超百万行改动和 400 多条行内评论的开源 PR 做压力测试。它把文档高度拆成确定性的代码几何与动态评论块两套体系,评论高度改为惰性测量、修正锚定在用户当前浏览位置,避免滚动跳动。
微软研究院对移动机器人操作负载的系统性测量显示,把物理 AI 推理从机载 GPU 卸载到边缘或云端 GPU 可提升任务表现并延长续航。
推荐理由:微软对机器人推理负载的系统性测量显示,把推理从机载 GPU 卸载到边缘或云端可提升任务成功率与续航,并给出可复用的 Kubernetes 工具链。
Google 公布 Private AI Compute 的新架构,将持久化服务端记忆引入该平台,使 AI 助手能在跨设备场景下保留上下文。数据存放在加密存储中,解密密钥仅保留在用户个人设备上,模型需要访问时通过端到端加密通道连接云端安全隔离区,在隔离内存中临时解密、处理并重新加密。
推荐理由:Google 公开了 Private AI Compute 的服务端持久记忆架构,读者可了解云端 AI 如何在保留设备端隐私标准的前提下跨设备记忆。
NVIDIA 在 ROSCon 发布 Isaac ROS 5.0,支持 ROS Lyrical 与 Ubuntu 24.04,并新增面向 AI 智能体的 Isaac 技能与 agent-ready 文档。
推荐理由:Isaac ROS 5.0 把智能体工作流引入机器人开发,并给出多家厂商的落地案例,可据此判断物理 AI 开发方式的变化。
Hugging Face 在 transformers 中加入 GGUF 支持,用户可通过 from_pretrained 传入 gguf_file 直接加载 Hub 上的量化检查点并在本地生成。
推荐理由:Hugging Face 官方说明 transformers 如何直接加载 GGUF 量化权重,并给出与 llama.cpp 的对比数据与当前限制。
NVIDIA 推出 DSX Ready 认证计划,用于审核合作伙伴产品是否符合 NVIDIA DSX AI 工厂参考设计要求,首批覆盖电池储能系统(BESS)和冷却分配单元(CDU)两类。
NVIDIA 发布 Halos 全栈安全系统,覆盖物理 AI 从硬件、软件到 AI 行为与部署验证的每一层。
NVIDIA 在埃及大埃及博物馆举办 AI 生态活动,其埃及深度学习学院学员规模一年增长超十倍,非洲已培训超 8.5 万名开发者,尼日利亚成为该学院全球第二大市场。非洲已有四座 AI 工厂宣布或上线,另有 656 兆瓦新增算力在建,Cassava Technologies 计划在埃及、肯尼亚、尼日利亚和摩洛哥部署,投资或达 7.2 亿美元。
NVIDIA 提出 AI 安全是工程问题,需在模型、harness、runtime 等 Agent 技术栈每一层部署可执行边界、可追溯身份与防护证据。开源安全 runtime NVIDIA OpenShell 在 Agent 推理之外强制执行策略并提供沙箱执行,Cisco DefenseClaw 与 JFrog 已基于其构建。
Hugging Face 发布 tokenizers v1 候选版本,在 Apple M4 Max 单线程下编码速度比 v0.23 快 3 至 30 倍,八线程扩展效率为线性的 76%,且输出 token ID 与 v0.23 完全一致。
推荐理由:原文给出 v1 与 v0.23 的逐项基准对比和实现改动,可据此判断分词器在训练与推理管线中的实际提速空间。
GitHub 工程师 Stephen Toub 复盘用 GitHub Copilot 把 Copilot agent runtime 从 TypeScript 重写为超过 80 万行生产级 Rust 的过程,代码主要由 AI 智能体编写,横跨 128 个 PR 并增量上线,性能提升数个数量级。
推荐理由:GitHub 工程师复盘用 Copilot 把运行时从 TypeScript 迁到 Rust 的全过程,含多智能体协作与提示缓存数据。
NVIDIA 宣布 Vera Rubin NVL72 在 MLPerf Inference v6.1 首次提交中亮相,在 Qwen3-VL 上吞吐量较 GB300 NVL72 最高提升 3.7 倍,在 DeepSeek-R1 上最高提升 2.5 倍。
推荐理由:原文给出与上代系统的吞吐对比和扩展效率数据,读者可据此评估其推理经济性影响。
Emerald AI、Google 和 NVIDIA 宣布启动 AI Energy Management Alliance(AEMA),推动数据中心根据电网状况动态调整用电。
NVIDIA 介绍 DSX 平台如何在固定电力预算下提升 AI 工厂产出:Lambda 在 HGX B200 服务器上首次验证 DSX MaxLPS,用与 16 节点满功率相同的预算运行 19 节点,集群 token 吞吐从约 4 million tokens per second 提升到 5 million(+24%),性能功耗比提升 23%。
推荐理由:原文给出了 Lambda 实测的吞吐与能效数字,以及电网信号自动降载的生产案例,可据此评估其对电力受限场景的实际价值。
NVIDIA 在 AI Infra Summit 上公布 Vera Rubin 与 DSX 平台的多项进展,将 AI 基础设施指标从峰值性能转向经验证的 agentic tokens per megawatt。
推荐理由:原文给出多组能效与吞吐数字,读者可据此评估每兆瓦产出这一新指标如何影响 AI 工厂选型。
OpenAI 将 Habitat 从一个 Python 库演进为全球分布式存储平台,服务 10 亿 ChatGPT 用户,峰值达 22M requests per second。文章介绍了这一在线存储系统快速扩展的演进过程。
Mistral 与 Cloudera 建立合作,将 Mistral 模型集成进 Cloudera 混合数据平台,企业可在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。企业还能在受控环境中用专有数据训练定制模型,同时保有数据和由此产生的智能的所有权。Cloudera 平台上运行着 30 exabytes 的客户管理数据。
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 物理油藏模拟器迁移到 C++,该代码库没有测试套件和集中文档。团队先搭建数值一致性校验框架,用自定义解析器生成调用树并让上百个智能体补文档,再以规划、编码、测试、审查的智能体工作流逐模块迁移,由人工审查 PR 把关。
推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,含一致性校验与人工审查节点的取舍。
Hugging Face WebAI 团队发布 @huggingface/kernels,一个从 Hub 加载并运行优化 WebGPU kernel 的 JavaScript 库,首批包含 207 个 kernel,以独立仓库形式发布,Apache-2.0 许可,每个 kernel 附带 manifest、正确性测试、benchmark 用例和 WGSL shader 模板。
推荐理由:原文给出了与 ORT WebGPU 的对比数据和单 kernel 仓库结构,读者可据此评估浏览器端推理优化的实际收益与复用方式。
Hugging Face 提出 Quantization-Aware Healing(QAH),将 GPT-OSS 120B 结构压缩至 60B 参数并量化为 MXFP4 后,在 9 项 benchmark 中有 7 项反超其 bfloat16 全精度版本,包括 AA-LCR +7.4、AIME 2025 +5.6。
OpenAI 自研推理芯片 Jalapeño 首批结果显示其在 AI 推理速度与能效上达到行业领先水平。Jalapeño 为现代模型提供更高吞吐量与更低延迟,同时具备更快的推理速度和更高的能效表现。
Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发与 AI 解决方案部署,初期聚焦网络安全和语音,并计划开发阿拉伯语表现强劲的前沿模型。合作规模达数亿欧元,Mistral 将探索使用 HUMAIN 数据中心基础设施,双方还将在沙特面向受监管行业制定联合市场策略。
Hugging Face 官方博客介绍其为 Papers with Code 复兴构建的混合搜索系统:PostgreSQL 全文检索提供词法基线,pgvector 加语义召回,再用 RRF 融合排序,目前维护超过 110,000 篇来自 arXiv 和 Daily Papers 的论文向量。
推荐理由:文章拆解了离线批量与在线查询两条路径的分工方式,以及冷启动降级到全文检索的兜底设计,可迁移性强。
Hugging Face 构建了一个约束感知 GPU 分配器,在 7 个基准场景下与 FIFO 调度器对比,相同硬件与负载下 GPU 利用率最高提升 33 个百分点,优先级加权产出在全部场景中提升,最高达 105%。
Mistral 宣布三项推进 AI 主权的举措:Mistral Regional Endpoints 正式可用,客户可选择推理在欧洲或美国运行;Mistral Priority Tier 进入公开预览,为关键业务负载提供自定义速率限制和带 SLA 的可用性承诺。
推荐理由:Mistral 把区域推理端点、SLA 优先级层和第三方开源模型接入放在同一套基础设施上,可观察主权 AI 的落地方式。
OpenAI 与 AWS 通过 Amazon Bedrock 提供 Daybreak 网络安全能力,以支持企业安全工作流。
Multiverse Computing 发布论文 Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss,提出两项系统改动:一次性缓存教师 top-100 logits 使教师无需驻留显存,以及不生成完整词表×序列矩阵的分块 KL 损失。
Baseten 正式成为 Hugging Face Hub 的 Inference Providers 服务商,首批支持对话与文本生成任务,可调用 Kimi K3、DeepSeek V4 Flash、GLM-5.2 等开源权重 LLM。