i14 在 AWS Trainium2 上用原生 PyTorch 训练与部署 Laplace 3B 线性注意力模型
AWS 与 i14 合作,用 TorchNeuron Native 原生 PyTorch 在一台 trn2.48xlarge 实例上训练并部署 i14 的 Laplace 3B 线性注意力模型,训练吞吐约 120,000 tokens per second,推理在 1,280 并发序列下达到 11,544 output tokens per second。
AWS 与 i14 合作,用 TorchNeuron Native 原生 PyTorch 在一台 trn2.48xlarge 实例上训练并部署 i14 的 Laplace 3B 线性注意力模型,训练吞吐约 120,000 tokens per second,推理在 1,280 并发序列下达到 11,544 output tokens per second。
AWS 博客演示了在 Amazon SageMaker HyperPod 上用 SFT 和 GRPO 微调 GPT-OSS-20B,使其按指令用目标语言进行推理。
IBM Research 在 Hugging Face 发布 ALTK-Evolve,用 GPT-4.1 从智能体自身训练轨迹中蒸馏出行为规则并追加到系统提示词,在不更新权重、无人工标注的前提下提升客服智能体表现。
推荐理由:原文展示了不更新权重、仅靠提示词级学习记忆提升客服智能体可靠性与成本的具体路径和量化结果。
AWS 博客介绍在 vLLM 中通过双向 KV cache 传输让 prefill 节点跨轮次复用 decode 节点保留的 KV,减少多轮对话中重复的 prefill 计算。
AWS 与 vLLM 社区推出基于推送(push)的 NIXL KV 传输连接器,将 prefill 后的传输协调与设置移出关键路径,降低 TTFT 和 TPOT。
Deepgram 将 Nova-3 语音转文字模型移植到 AWS Trainium2,用于离线批量工作负载,在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,每美元处理的音频量比原有计算方案多 11–70%。
Reflection 在 Hugging Face 上开源了其首个模型 Beam,这是一款 501B 参数(每 token 激活 23B)的 MoE 大语言模型,采用 Apache 2.0 许可,主打编码与智能体场景,支持 1M tokens 上下文窗口。
推荐理由:原文给出架构细节、精度选择与部署配置,读者可据此评估自托管该模型的硬件成本与可行性。
Hugging Face 发布 Granite Switch 4.1 系列模型(Granite-Switch-4.1-8B 和 -30B),通过 Decision aLoRA。
Meta 发布开源权重多模态模型 Muse Spark Open,约 816B 总参数、每 token 约 42B 激活参数,上下文窗口达 1M tokens,支持文本、图像、音频、视频输入与文本输出,面向 agentic coding 场景。
推荐理由:原文给出完整架构参数与多框架部署配方,读者可据此评估自托管该模型的资源门槛与可行路径。
Meta 的编码优化开源权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 提供,可部署到自己 AWS 账号的 SageMaker AI 端点。
Microsoft Research 发布零知识虚拟机 Magnetar,可证明 Rust、Go 或 C 编写并按 RISC-V 架构编译的程序执行,在笔记本上每秒证明 7.2 至 8.7 million 条处理器指令,在 15 个基准程序上平均比现有最快 zkVM 快 10 至 39 倍,证明验证约 12 毫秒。
推荐理由:原文梳理了零知识证明普及的三大障碍及 Magnetar 分别如何应对,便于读者判断其技术路线取舍。
Apertus 1.5 在 Apertus 1.0 的 8B 和 70B 模型基础上新增图像与音频理解、可选思考模式、4 倍更长的上下文窗口(262,144 tokens)、改进的指令遵循与工具使用,模型权重已于 7 月 24 日以 Apache 2.0 许可发布至 Hugging Face。
推荐理由:原文详述了从文本模型扩展到多模态的训练配方与各阶段开源产物,便于复现其开放开发路径。
Google DeepMind 宣布 Gemini 4 Argon 开始广泛推出,并将面向网络防御者的 Fairwind Program 扩展到更多可信防御方。
推荐理由:原文系统梳理了新模型在滥用防护、错位监控和提示词注入抵抗三层的具体做法与量化结果,可作为了解前沿模型安全实践的参考。
Liquid AI 开源 LFM2.5-24B-A2B,一个 24B 参数、仅 2B 激活参数的推理模型,面向端侧快速私密的智能体场景,支持工具调用与多步任务。
推荐理由:给出了架构、训练流程与多组对比数据,读者可据此判断它在端侧智能体场景的取舍边界。
Amazon SageMaker AI 团队介绍了针对 fused MoE 模型的 kernel 优化方案,其中 Swap-AB 技巧在 H200 上为大规模 MoE 模型带来 2–4% 的端到端输出吞吐提升,已上游至 vLLM 0.24.0 及之后版本。
AWS 博客介绍 Grok 4.7 已在 Amazon Bedrock 上线,并构建一个工具调用智能体,在三个需要搜索而非查表的任务上以四个 reasoning effort 档位各跑 6 次共 72 次,答对 67 次:xhigh 全对 18/18,low 答对 15/18 但输出 token 约为 xhigh 的八分之一。
推荐理由:原文给出可复现的评测设计与四档推理档位的 token 与正确率对照,读者可据此在自己任务上量测成本质量权衡。
Google DeepMind 宣布 Gemini 4 Argon 即日起全球开放,开发者和企业可通过 AI Studio 与 Gemini 平台的 API 使用,Google AI Ultra 订阅者可在 Google Antigravity 使用,Ultra 和 Pro 订阅者可在 Gemini app 和 Search 的 AI Mode 使用。
推荐理由:原文列出定价、上下文规格和多领域实测数据,读者可据此评估它对现有工作流的适配度。
Google DeepMind 发布 Gemini 4 Argon,主打物理理解、代码生成与视觉语义推理,在 Embodied Reasoning (ERQA) 基准上纯推理得分 87%,超过其他前沿模型。
同一件事,精选收录的是《Google DeepMind 发布 Gemini 4 Argon 并全球开放》
Microsoft Research 发布研究系统 StudentSim,用公开去标识学习记录训练个性化 AI 学生模拟器,用于在真人测试前评估和改进 AI 导师。
AWS 推出多节点 Ray LLM Deep Learning Containers,可在 Amazon EKS 上将单个大语言模型部署到两个 GPU 节点,通过一个 OpenAI 兼容端点实现 prefill/decode 分离推理。
AWS 展示了如何在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型:标准路径通过 AWS DLC for llama.cpp 提供 OpenAI 兼容的 chat completions,SemIf 扩展则直接返回各选项概率而不生成答案 token。
Nemotron 从 Nemotron 3 出发经 SFT、RL 与反馈式推理特化,在 IOI 2026 取得 535.4/600(高于 361.12 金牌线与人类最高分 498.27),在 IMO 2026 取得 30/42(高于官方金牌线 29)。
推荐理由:原文给出可复用的四步特化配方和完整开源清单,读者可据此迁移方法到自己的领域。
OpenAI 公布其内部前沿模型在数学开放问题上的新结果,并在 GitHub 上分享 Lean 证明形式化与研究细节。
OpenAI 发布 GPT-6 系列模型指南,讲解初创公司如何在 GPT-6 家族中选择合适模型、调节 reasoning effort、优化提示词与 skills、协调工具调用,并为生产环境准备工作流。
NVIDIA 宣布 DGX Spark 将于本月推出 64GB 统一内存版本,10 月 23 日起在 Acer、ASUS、Dell、Gigabyte、HP、MSI 开售,起价 $4,999,预装 DGX OS 与 NVIDIA AI 软件栈,支持在设备本地运行最高 100-billion-parameter 模型。
推荐理由:原文给出配置、价格与组网扩展路径,读者可据此评估本地跑智能体的可行方案。
GPT-6 Astra Ultrafast 现已在 OpenAI API 上线,并向符合条件的 ChatGPT Work 和 Codex 用户开放,运行于 NVIDIA Blackwell GPU,token 生成速度比 Astra Standard 模式最高快 8x。
推荐理由:原文说明了加速来源与开发者可感知的收益,便于判断它对编码智能体工作流的实际影响。
Google DeepMind 宣布发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向一批可信网络安全防御者开放,随后面向开发者、企业和消费者推出。
推荐理由:原文披露了输出上限、定价与分阶段开放策略,读者可据此判断其面向开发者的可用时间与成本。
Microsoft Research 实习期间开发的机器学习管线可对美国本土 66,935 座变电站生成空间天气风险估计,提前 30-60 分钟预警,评估期内检出近 80% 的重大空间天气事件。
CoreWeave 宣布在 CoreWeave Cloud 上线 NVIDIA Vera Rubin NVL72 系统(配 Spectrum-X 102.4T Ethernet),Cognition 成为首个在其上运行生产负载的客户,早期测试中 SWE-2 推理工作负载的总 token 吞吐较 GB200 NVL72 最高提升 4.8x。
GPT-6.1 Sol 现已在 Amazon Bedrock 正式可用,面向智能体编码、计算机使用和专业工作负载提供更强推理能力。据 OpenAI,它在 DeepSWE v1.1 上以约五分之一的任务成本匹配 GPT-6 Astra,且比 GPT-6 Sol 最佳成绩高 6.4 个百分点、推理投入更低。
推荐理由:原文给出了成本与能力的对比数据,读者可据此评估它在智能体工作流中的性价比取舍。
Google Research 提出 Diffusion Controller 框架,将扩散模型的去噪过程重构为连续控制问题,用轻量"转向阻尼器"网络统一推理时引导与微调两类控制方法。
NVIDIA 发布开源表格基础模型 Kumo Tabular,属于 NVIDIA Kumo Structured 模型系列,已上线 Hugging Face。给定带标签的表格,它在单次前向传播中直接预测新行标签,支持分类与回归,无需训练、调优或特征工程。
推荐理由:原文交代了模型架构与人工数据预训练流程,读者可据此理解表格基础模型如何在免调优下兼顾精度与效率。
Liquid AI 发布实验性草稿模型 LFM2.5-VL-DSpark,为视觉语言模型 LFM2.5-VL-3B 加入投机解码路径,解码最高提速 3.13x(端侧)和 2.66x(H100),端到端最高提升 2.62x 和 2.27x。该草稿模型仅增加 280M 参数(约 8.9%),并首日支持 llama.cpp、MLX-VLM 和 SGLang。
GPT-6 提升了 prompt caching 能力,带来更高的缓存命中率、新增诊断工具、显式断点(explicit breakpoints)以及可降低延迟和成本的控制项。
NVIDIA 宣布 Vera Rubin NVL72 在 MLPerf Inference v6.1 首次提交中亮相,在 Qwen3-VL 上吞吐量较 GB300 NVL72 最高提升 3.7 倍,在 DeepSeek-R1 上最高提升 2.5 倍。
推荐理由:原文给出与上代系统的吞吐对比和扩展效率数据,读者可据此评估其推理经济性影响。
Salesforce 在 Dreamforce 上发布首个 CRM 推理模型 Koa,基于 NVIDIA Nemotron 3 Super 在近三十年企业 CRM 部署数据构成的专有合成数据集上后训练而成,采用监督微调与强化学习,使用 NVIDIA NeMo RL、NeMo Gym 和 NeMo AutoModel。
Google Research 提出 Retrieve-for-Train 框架,通过离线强化学习发现奖励对齐的 fan-out 查询并编译为监督信号,再蒸馏进一个 53.9M 参数的扩散检索器,实现推理时单次非自回归生成完整结果集,无需 CoT 推理 token。
NVIDIA 介绍 DSX 平台如何在固定电力预算下提升 AI 工厂产出:Lambda 在 HGX B200 服务器上首次验证 DSX MaxLPS,用与 16 节点满功率相同的预算运行 19 节点,集群 token 吞吐从约 4 million tokens per second 提升到 5 million(+24%),性能功耗比提升 23%。
推荐理由:原文给出了 Lambda 实测的吞吐与能效数字,以及电网信号自动降载的生产案例,可据此评估其对电力受限场景的实际价值。
NVIDIA 在 AI Infra Summit 上公布 Vera Rubin 与 DSX 平台的多项进展,将 AI 基础设施指标从峰值性能转向经验证的 agentic tokens per megawatt。
推荐理由:原文给出多组能效与吞吐数字,读者可据此评估每兆瓦产出这一新指标如何影响 AI 工厂选型。
OpenAI 推出 ChatGPT for Financial Services,内置金融数据并结合 GPT-6 Astra,面向研究、建模和生成可交付客户的材料。