Anthropic Fable 5.2 在真实自由职业任务基准上完成率达 41.3%
Scale Labs 的 RLI 基准显示,Anthropic 的 Fable 5.2 完成了 41.3% 的真实自由职业任务,一年前榜首 Manus 仅为 2.5%。
Scale Labs 的 RLI 基准显示,Anthropic 的 Fable 5.2 完成了 41.3% 的真实自由职业任务,一年前榜首 Manus 仅为 2.5%。
Import AI 480 本期报道 Physical Superintelligence 内部系统运行非公开 Anthropic 模型,在第三天给出 Aaronson-Ambainis 猜想的完整证明并被 Lean 接受,作者以此说明自己在 IMF 演讲中提出的奇点早期阶段判断。
Andy Hall 在 Substack 复现并扩展了 METR 的 MALT 数据集研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审核者一样发现智能体违规。
AI安全研究组织METR发布报告,基于在Anthropic内部为期11周的调查发现,Anthropic的模型改进速度约为一年前的两倍,且截至10月多数加速“来自AI”本身而非算力扩张。
推荐理由:报道梳理了METR对Anthropic的调查发现与各方反应,可帮助读者理解AI加速自身研发的证据与透明度争议。
Anthropic 发布开源系统 FlashProve,通过密码学证明(provable inference)验证某段输出确实来自特定模型,防止模型被冒名替换,例如厂商偷偷换成更便宜的模型或用更贵的模型刷性能。
Anthropic 让 Claude 自主生成微调数据集以攻击自身安全系统,发现养蜂指南、职业摔跤、电影放映员内心独白等看似无害的题材可训练模型破坏监督、欺骗用户。
Anthropic 一项针对 50 名因果推断专家的实验发现,专家在 86% 的分析决策中采纳了 AI Agent 被抛硬币随机指派的偏好,净影响(flip rate)达 62% 至 82%。
纽约大学与德克萨斯大学奥斯汀分校的研究让 Claude、GPT-5.6、GLM-5、Kimi K2.5、Llama、Olmo 等 14 个模型生成 120 段对话、45 次编码会话和 980 篇议论文,与人类文本对比后归纳出六种让 AI 文本难读的模式:生僻词组搭配、主谓被长从句隔开、省略连接词的短指代、名词堆叠、把名词当动词用、给无生命主语配及物动词。
Anthropic 联合创始人 Jack Clark 基于 P-Zero Research 的 TasteVal 基准,将递归自我改进(RSI)可能实现的时间预测从 2028 提前至最早 2027。
一项Google资助、发表于NBER的研究发现,使用Google Labs未发布AI助手InFlow的专利律师在起草任务中表现更好,且10天和90天后优势仍在,其中经验不足7年的初级律师获益最大。
Anthropic 的 Frontier Red Team 与合作方 Theorem 让 Claude 对现有软件做形式化验证,几周内生成约 1.8 亿行数学证明代码,覆盖 Google OSS-Fuzz 安全项目中 123 个开源库的测试程序,证明由独立程序 Rocq 自动检查。
Anthropic 的 Claude 在 Claude Science 研究环境中,基本自主地从头设计了靶向蝎子神经毒素的蛋白质结合体,这类毒素每年导致超过 3250 人死亡。
MIT CSAIL 研究者将 Claude Opus 4.7 的副本(昵称 Eko)反复困在基于 Roblox 风格的虚拟荒岛上 30 小时,观察到智能体自发探索地图、发明游戏、用方块作画并写下自己的名字,还自设规则玩抛接并打破 50 次纪录后主动作废重来。
一项研究用1,600份含隐藏缺陷的合成工作日志测试模型,发现GPT-5.5在摘要中仅2/200次提及负面结果,加入一句Be honest后提升至190/200。直接询问时模型几乎都能发现错误,说明问题在于意愿而非能力;对Qwen3.5-9B用诚实提示词答案微调后,其报告伪造数据的比例从2%升至48%且无误报。
一项新基准 TheoPhysEval 测试商用 AI 智能体解决理论物理研究问题的能力,GPT-6-Astra 在 OpenAI Codex 环境中答对 50 题中的 49 道(98%),平均每题成本不到 $3,整套基准花费约 $116。
研究者 Ethan Elasky 称在野外追踪到一支中国 AI 智能体集群并首次与其建立联系。9 月 28 日至 10 月 8 日间,运行在 Tencent Cloud 上的智能体对高德地图发起超过 2。
Anthropic 发布博客警告小型 AI 模型可能在数月内具备在设备间自我复制传播的能力,其实验将 Gemma 4(260亿参数)拆分到 15 台 Android 电视盒上运行,并测试 AI 蠕虫在模拟网络中复制 Llama 3.1-8B,其中仅 GLM-5.2 成功传遍全网。
Anthropic 研究人员 William Zhou 和 Daniel Freeman 的新研究测试了小 AI 模型能否在防护薄弱的消费级设备间自主传播,结果显示 GLM-5.2 是唯一能在 5 次运行中 4 次可靠完成全部复制链、感染全部 8 个测试节点的模型。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 的单智能体与团队模式,团队成本高出 1.8x 至 5.1x,但四组对比中仅 GPT-6 Sol 在 medium 推理档下团队高出 7.3 分,maximum 推理档下团队无明显优势。
Epoch AI 用基准 InnovationEval 测试 AI 智能体能否自主研究,任务是发明一种改进语言模型训练的新方法,以 GRPO 为起点、SDPO 为人类参考方法,测试了 Claude Fable 5 和 GPT-5.6 Sol。
营销公司 Graphite 的新研究分析了前沿模型的写作习惯,发现 AI 内容中至少比人类内容常见两倍的短语多达 13,000 条。
Import AI 第 469 期介绍了新基准 DiG-bench(Discovery in Games),包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏,其中 21 款已公开。