Latent Space· Richard MacManus·· 3 小时前AI 评分57
Elorian 联合 Mercor 发布 DecoyCount 基准测试视觉推理能力
Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning
AI 导读
Elorian 与 AI 数据公司 Mercor 联合发布 DecoyCount 基准,测试语言模型是真正计数物体还是依赖视觉捷径。配套论文显示前沿模型在 DecoyCount 上准确率低于 50%,最高为 GPT-6 Astra 的 43.17%,论文结论认为更强的通用推理本身不会自动转化为对齐的视觉推理。
来源:Latent Space · latent.space