Taste-Bench 评测智能体长期决策品味

Pan 等研究者发布新基准 Taste-Bench，用事后回溯方式评估 AI 智能体在长期任务中的决策质量，结果显示当前模型的决策能力接近随机猜测。 该基准包含 502 道二选一题目，每题给出原始任务、分叉前的执行轨迹和两个可能方向，数据来自 SWE-bench Pro 与 METR 的 MALT 公开转录。研究团队测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 系列的 14 个模型，每道题提问两次（正常顺序与选项翻转各一次），基准与代码已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。