Microsoft Research Focus 第 98 期:KLS 猜想攻克、CompactionBench 与 LCT 等研究进展
Microsoft Research Focus 第 98 期由 Anson Ho 主持,盘点微软最新研究:KLS 猜想这一 31 年悬案被攻克,为理解随机化算法效率扫清理论障碍。
Microsoft Research Focus 第 98 期由 Anson Ho 主持,盘点微软最新研究:KLS 猜想这一 31 年悬案被攻克,为理解随机化算法效率扫清理论障碍。
阿里与多所亚洲高校研究者发布编码智能体基准 Co-Design Bench,基于真实用户改需求构建任务,测试十个模型。最佳模型 GPT-6 Astra 平均满足约 70% 任务要求,但完全正确率仅 26.4%,多模态任务完全解决率 41%、仓库任务不足 18%;Claude Opus 5 和 Qwen3.8-Max 紧随其后,Grok 4.6 垫底。
Microsoft Research 与 GitHub Next、RiSE 合作推出 PDD Kit,把形式化验证引入日常软件开发:它在 GitHub Next 的 Chopin 规划环境中与开发者协作,把自然语言意图转成 Verus 形式化规范,自动为智能体生成的代码生成证明,证明覆盖每个输入,证明触及不到的部分则回退为测试。
推荐理由:原文完整展示了从意图到形式化规范再到证明的七步工作流,可迁移之处在于它把代码审查重心移到了意图审查。
一项研究让 5 个模型(Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview)在 Claude Code。
Anthropic 的 Frontier Red Team 与合作方 Theorem 让 Claude 对现有软件做形式化验证,几周内生成约 1.8 亿行数学证明代码,覆盖 Google OSS-Fuzz 安全项目中 123 个开源库的测试程序,证明由独立程序 Rocq 自动检查。
Pan 等研究者提出 Taste-Bench,用事后回溯方式评估 AI 智能体在长期任务中的决策质量,共 502 道二选一题目,数据来自 SWE-bench Pro 和 METR 的 MALT 公开转录。
哈佛大学研究人员 Fiona Chen 和 James Stratton 的研究发现,AI 编码工具带来的编码阶段效率提升被生产流程下游约束吸收,代码审查成为显著瓶颈,企业并未因此增加软件产出或减少就业。
GitHub 发布 ReviewBench,一个面向 AI 代码审查的开放离线基准,语料基于对 103.9M GitHub pull requests 的分析,包含 19 种语言、187 个公开仓库的 219 个 pull requests。
OpenAI 发布新分析,指出编码评测基准 SWE-Bench Pro 存在问题,引发对 AI 模型评测可靠性与准确性的担忧。
IBM Research 推出开源基准 ScarfBench,用于评测 AI 智能体在 Enterprise Java 跨框架迁移任务上的表现,覆盖 Spring、Jakarta EE、Quarkus 三大生态,包含 34 个应用、204 个迁移任务、约 151K 行代码和 1331 个专家编写的测试。
Hugging Face 推出首个面向阿拉伯语 LLM 的 STEM 与代码生成评测基准 3LM,包含 865 道原生 MCQ、1,744 道合成 MCQ,以及翻译自 HumanEval+ 和 MBPP+ 的代码任务。
Hugging Face 发布研究,提出 Structured CodeAgent,让 CodeAgent 以 JSON 格式同时生成 thoughts 和 code 字段,在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均提升 2-7 个百分点。
OpenAI 推出 SWE-Lancer 基准测试,让前沿 LLM 在真实自由职业软件工程任务中竞争赚取 100 万美元。该基准以真实 Upwork 悬赏任务为题源,考察模型端到端完成编码与管理工作交付的能力。
OpenAI 发布了 SWE-bench 的人工验证子集 SWE-bench Verified,用于更可靠地评估 AI 模型解决真实世界软件问题的能力。
Hugging Face Blog 宣布发布 BigCodeBench,一个包含 1,140 个函数级任务、覆盖 139 个库的代码生成评测基准,每个任务平均含 5.6 个测试用例、平均分支覆盖率达 99%,旨在替代任务过于简单且易受数据污染影响的 HumanEval。