Elorian联合Mercor发布DecoyCount基准

Elorian 联合 AI 数据公司 Mercor 发布 DecoyCount 基准，用于测试语言模型是真正在计数物体，还是依赖视觉捷径与替代启发式方法。配套论文显示，前沿模型在该基准上准确率均低于 50%，其中最高为 GPT-6 Astra 的 43.17%。论文结论认为，更强的通用推理能力本身不会自动转化为对齐的视觉推理。 Elorian 自家新模型 Glimpse 未出现在论文中，但 Dai 告诉我们，其内部测试得分为 50.48%。Dai 同时指出，Glimpse 的结果来自模型单独一次运行、未使用 agent 或工具框架，而论文中的六个模型均在各自设定下取三次运行的平均值。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。