IBM 同模型对比三款 Agent harness

IBM Research 用同一个开源模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比 CUGA、Hermes 和 Deep Agents 三个 harness，任务完成率分别为 81.1%、46.7% 和 30.0%，说明 harness 选择对结果影响很大。 评测中每个 harness 使用相同模型、相同 90 项任务（覆盖 30 个场景），每项任务只尝试一次；IBM Research 称这是单一基准上的 90 项任务样本，结果未必推广到其他任务，且各 harness 的配置并不完全一致，运行也未使用策略，因此不衡量策略执行能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。