Hugging Face 发布 HOPE:考虑专家间协作的 MoE 二阶专家剪枝方法
Hugging Face Blog 发布 HOPE(Higher-Order Pruning of Experts),一种考虑专家间成对交互的 MoE 二阶专家剪枝方法。
Hugging Face Blog 发布 HOPE(Higher-Order Pruning of Experts),一种考虑专家间成对交互的 MoE 二阶专家剪枝方法。
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench v1.0,用于衡量 AI 智能体处理云 DevOps 任务的能力,包含 45 个 AWS 任务。
Dharma AI 预告即将发表的 VocabX 论文,提出按每个 token 的服务成本而非出现频次来重建词表,在不改动基座模型和训练配方的前提下,将生产环境葡萄牙语作文评分器(基于 Qwen3-4B)的实测推理成本降低 77.0%,平均响应从 350 token 降到 101 token,bench score 从 0.703 升至 0.810。
AWS 与 i14 合作,用 TorchNeuron Native 原生 PyTorch 在一台 trn2.48xlarge 实例上训练并部署 i14 的 Laplace 3B 线性注意力模型,训练吞吐约 120,000 tokens per second,推理在 1,280 并发序列下达到 11,544 output tokens per second。
微软与 MIT、ECMWF 等机构合作的研究在 Nature 发表,提出名为 Probabilistic Bias Correction(PBC)的机器学习方法,用以校正现有天气模型的系统性偏差,把两到六周的中期预报精度提升,工具现已开源。
Anthropic 发布博客警告小型 AI 模型可能在数月内具备在设备间自我复制传播的能力,其实验将 Gemma 4(260亿参数)拆分到 15 台 Android 电视盒上运行,并测试 AI 蠕虫在模拟网络中复制 Llama 3.1-8B,其中仅 GLM-5.2 成功传遍全网。
GitHub 官方博客介绍了其新训练的密钥分类器,采用两阶段管线:先用高召回 regex 生成候选,再由微调 ModernBERT 结合文件路径、变量名和上下文判断是否为真实密钥。
微软研究院对移动机器人操作负载的系统性测量显示,把物理 AI 推理从机载 GPU 卸载到边缘或云端 GPU 可提升任务表现并延长续航。
推荐理由:微软对机器人推理负载的系统性测量显示,把推理从机载 GPU 卸载到边缘或云端可提升任务成功率与续航,并给出可复用的 Kubernetes 工具链。
Hugging Face 提出 Quantization-Aware Healing(QAH),将 GPT-OSS 120B 结构压缩至 60B 参数并量化为 MXFP4 后,在 9 项 benchmark 中有 7 项反超其 bfloat16 全精度版本,包括 AA-LCR +7.4、AIME 2025 +5.6。
Import AI 470 关注三项研究:METR 分析显示 AI 对网络安全漏洞发现加速最明显,对数学研究贡献较小,对 AI 研究本身尚无显著加速。SPADE 通过自博弈让 LLM 交替生成可执行训练环境并求解,在 Qwen3-30B-A3B 上游戏环境套件均分达 58.3,较基线提升 8.1。Hawkeye 则用于构建更好的 GPU kernel。
Multiverse Computing 发布论文 Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss,提出两项系统改动:一次性缓存教师 top-100 logits 使教师无需驻留显存,以及不生成完整词表×序列矩阵的分块 KL 损失。
Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要以自然语言"信念状态"形式隔离并监督其信息内容,通过受自编码器启发的信念评分(belief grading)奖励能重建最新观测的信念。在协作编程基准 CollabBench 上,ABBEL-rec-BG 将全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 数也低于全上下文设置。
Google Research 在 CIDR 发布论文提出线性弹性缓存(linear elastic caching),将页面淘汰建模为 ski rental 问题,用轻量级决策树模型动态预测页面 TTL,在内存占用与缓存未命中之间权衡以降低总拥有成本(TCO)。
伯克利 AI 研究团队提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、向状态迭代直接注入随机性以探索、并重塑梯度让动作获得清晰信号,从而让基于学习动力学(世界模型)的长时程规划变得实用。该方法针对长时程 rollout 中梯度爆炸/消失、非贪心结构导致的局部极小值以及高维视觉模型梯度脆弱等问题。
Google Research 公布新研究 moonshot Project Suncatcher 及预印本论文,构想由太阳能卫星组成星座、搭载 Google TPU 并通过自由空间光链路互联,打造可扩展的太空 AI 算力。