评测来源官方评测
Mercor APEX-Agents 1.1
Mercor / 专业办公 · 投行、咨询和法律里的长任务,看模型当助手能不能把一件完整的工作做完。
在 WebAi 中参与排名
证据预算4%
上游数据时间09/08 08:00
最近成功同步09/29 22:55
它测什么,怎么测
固定 1.1 数据集和官方 Loop 环境,采用 Pass@1 及其对应误差,按预先固定的推理档位选配置。Mean Score 是评分项平均完成度,不混作任务完成率。
如何使用这份证据
固定 1.1 版官方 Loop 的 Pass@1,独占工具与办公预算中的 4%;另 2% 用于统一环境的银行业务任务。
评测成绩
按固定规则,每个公开模型采用一套代表配置。匿名测试型号不展示,保留原榜名次,每项最多 30 个。
| 原榜名次 | 原榜型号 | 原始成绩 | 代表配置 |
|---|---|---|---|
| 1 | claude-sonnet-5-5— | 75.5% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 2 | claude-opus-5-5Anthropic | 73.5% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 3 | claude-fable-5.1Anthropic | 68.6% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 4 | gemini-3.7-flashGoogle | 67.8% | High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 5 | claude-opus-5Anthropic | 65.8% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 6 | grok-4-6-xhighxAI | 65.3% | xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 7 | gpt-6-astra-maxOpenAI | 64.7% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 8 | gemini-3.8-flashGoogle | 64.3% | High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 9 | claude-fable-5Anthropic | 63.6% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 10 | qwen-3-8-max-xhighAlibaba | 63.3% | xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 12 | gpt-5.6-terra-maxOpenAI | 58.2% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 13 | muse-spark-1-3Meta | 57.8% | xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 14 | glm-5-3Z.ai | 56.6% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 15 | grok-4-5xAI | 56.2% | High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 16 | deepseek-v4-flashDeepSeek | 55.3% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 17 | gpt-5.5-xhighOpenAI | 55.1% | xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 18 | grok-4.7xAI | 54.6% | xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 19 | claude-sonnet-5-maxAnthropic | 54.5% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 20 | gpt-6-solOpenAI | 54.3% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 21 | glm-5-3-flashZ.ai | 52.8% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 23 | responses/gpt-5.4OpenAI | 52.4% | xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 24 | gpt-5-6-sol-max-proOpenAI | 51.4% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 25 | kimi-k3Moonshot AI | 50.6% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 26 | claude-opus-4-7Anthropic | 49.2% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 27 | claude-opus-4-8Anthropic | 48.9% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 28 | qwen-3-8-27bAlibaba | 47.5% | xHigh 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 29 | deepseek-v4-pro-08-13DeepSeek | 47.3% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 30 | gemini-3.6-flashGoogle | 46.9% | High 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 31 | claude-opus-4-6-maxAnthropic | 46.3% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 32 | glm-5-2Z.ai | 45.2% | Max 推理 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
评测局限与数据署名
限投行、咨询、法律任务;原页未提供逐型号评测日期,少量运行缺失的原因尚未公开。不能将此分数解释为所有办公工作的可靠性。
数据许可:官方公开结果;数据与代码许可不等于榜单再分发授权
成绩由 Mercor 发布,原始分数与 WebAi 共识分使用不同尺度,不能直接相加。