跳到正文
The Decoder· Jonathan Kemper·· 7 小时前AI 评分60

实验显示编码智能体在模拟软件公司中任务完成率不足十分之一

AI coding agents ace isolated tests but complete fewer than one in ten tasks in a simulated workplace

AI 导读

一项新实验首次把 AI 编码智能体作为数字员工放进模拟软件公司,其中包含同事、项目看板和聊天记录。结果显示,即使是 Claude Opus 5.5 和 GPT-6 Astra,完整完成的任务也不到十分之一,而此前 Anthropic 称 Claude 编写了公司 80% 以上的生产代码,SWE-bench 等标准基准也已接近饱和。

来源:The Decoder · the-decoder.com