跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

47 条精选近 30 天 25 条共收录 290 条

更新

评测基准的精选

今天11月14日周六第 1–20 条
  1. The Decoder78

    前 OpenAI 研究员称在六个中国 AI 模型中发现 Nvidia Blackwell 芯片指纹

    前 OpenAI 研究员 Will DePue 称,他从已发布的模型权重中找到了 Nvidia Blackwell 芯片的特征指纹,涉及 DeepSeek-V4-Flash、DeepSeek-V4-Pro、MiniMax-M3、Kimi K3、Kimi K3.1-Pro 和蚂蚁 Ling-3.1-flash 六个自 2026 年 4 月以来发布的中国模型。

    推荐理由:原文梳理了指纹检测方法的原理与边界,读者可据此理解这类证据能说明什么、不能说明什么。

11月13日周五
  1. Ars Technica · AI76

    Google 推出 Gemini 4 Hydrogen,取代 Gemini 3.8 Flash

    Google 推出 Gemini 4 Hydrogen,取代其产品线中的 Gemini 3.8 Flash,面向用户立即开放,不像此前 Argon 和 Carbon 那样分阶段限制访问。该模型提供 low、medium、high 和新增的 xhigh 四档思考级别,Google 称即使在 high 模式下速度也比 Flash 3.8 快 2.5 倍,

    推荐理由:原文给出了 Hydrogen 相对 3.8 Flash 的速度、幻觉与代码能力对比数据,读者可据此判断这次替换对日常使用的影响。

11月11日周三
  1. Hugging Face Blog62

    Tether AI Research 开源 0.8B 端侧智能体模型 BotPsy

    Tether AI Research 发布 BotPsy,一个基于 Qwen3.5-0.8B 构建、面向函数调用与智能体工作流的 0.8B 参数端侧模型,将以 Apache 2.0 许可开源权重,提供 bf16、Q8、Q4 三种精度的 safetensors 与 GGUF 文件。

    推荐理由:原文给出四阶段训练配方与逐项基准对比,可据此理解小模型如何在工具调用上追平更大模型。

11月10日周二
  1. The Decoder88

    Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,基准成绩领先

    Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2,两者共享同一模型基础,定价为每百万输入 token 8 美元、输出 40 美元,低于前代的 10 美元和 50 美元,输出速度比 Fable 5.1 与 Mythos 5.1 快最多 30%。

    推荐理由:文章汇总了新模型的基准分数、定价与安全限制,读者可据此比较它与前代及竞品的差距。

11月9日周一
  1. NVIDIA Blog74

    NVIDIA 在 CoRL 发布 GR00T 2 世界动作模型与 Isaac Lab 3.0 等开放机器人技术

    NVIDIA 在 CoRL 大会发布一系列开放机器人技术,包括基于 Cosmos 的开源世界动作模型 GR00T 2、Isaac Lab 3.0、Isaac Lab-Arena 0.4 开发者预览,以及 DexBench、VABAR 两个新工业评测基准。

    推荐理由:原文系统梳理了从世界动作模型到仿真训练与评测基准的完整技术栈,可据此理解 NVIDIA 在机器人仿真训练上的整体布局。

11月6日周五
  1. Hugging Face Blog63

    Hugging Face 推出 ToyBlocks 受控仿真框架用于机器人学习与评测

    Hugging Face 与 AllenAI 推出 FoundationWorlds 框架及其首个基础世界 ToyBlocks,一个围绕机械臂与桌面积木的开源仿真环境,可自动生成任务与演示数据,无需人工遥操作。

    推荐理由:通过受控仿真环境把数据生成、训练与评测打通,读者可据此理解机器人泛化与失败归因的可复现研究路径。

  2. Latent Space78

    Thinking Machines 发布 Inkling 2 Small:594B 总参数多模态 MoE,68 小时完成预训练

    Thinking Machines 发布 Inkling 2 Small,一个 594B 总参数 / 17B 激活参数的多模态 MoE 模型,支持文本与图像输入、文本输出,具备原生视觉能力,上下文窗口和最大输出均为 1M tokens,现已在 Tinker 和 Tinker Playground 上开放微调与推理,Apache 2.0 权重将在外部安全测试完成后于下周发布。

    推荐理由:原文汇总了训练成本、独立评测与安全披露,读者可据此判断这款开源权重模型的真实定位与短板。

11月5日周四
  1. Hugging Face Blog67

    Hugging Face 发布端侧 TTS 模型 Phonon 并开源权重

    Hugging Face 发布可在本地设备运行的文本转语音模型 Phonon,无需服务器和网络,两周内下载量超过 200,000 次。模型提供约 65 MB 和 75 MB 两个尺寸,支持英语、法语、德语、西班牙语和葡萄牙语五种语言及 100 多个内置声音;Phonon 31m 仅支持英语并采用 Apache 2.0 许可,Phonon 40m 覆盖五种语言但限非商业使用。

    推荐理由:原文交代了小模型兼顾音质与体积的技术路线、许可证差异和排行榜成绩,可帮助判断端侧语音方案的可用性。

11月4日周三
  1. Hugging Face Blog60

    Hugging Face 开源 CWE-bench v2:100 个任务覆盖 91 种 CWE

    Hugging Face 与 Collinear AI 开源 CWE-bench v2,公开 100 个任务,覆盖 91 种 CWE,用于测试前沿模型发现并修复安全漏洞且不破坏现有功能的能力,评分完全程序化、可复现。

    推荐理由:公开了 100 个任务的评分口径与成本数据,读者可据此判断模型在真实漏洞修复上的水平与代价。

  2. Hugging Face Blog62

    IBM 用同一模型对比 CUGA、Hermes 与 Deep Agents 三个 Agent harness

    IBM Research 用同一个开源模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比 CUGA、Hermes 和 Deep Agents 三个 harness,任务完成率分别为 81.1%、46.7% 和 30.0%,说明 harness 选择对结果影响很大。

    推荐理由:同一模型换 harness 完成率从 30% 到 81%,这组对照数据能帮读者理解选型应匹配工作负载而非只看模型。

10月29日周四
10月24日周六
10月23日周五
10月22日周四
  1. Google Research65

    Google Research 发表 JAMA Network Open 论文:AI 盲扫超声估算孕周精度媲美专家

    Google Research 在 JAMA Network Open 发表论文,评估其 AI 孕周估算系统在芝加哥 Northwestern Medicine 与肯尼亚内罗毕 Jacaranda Health 两处临床环境中的泛化表现。

    推荐理由:研究展示了AI在真实临床环境中跨硬件、跨地区的泛化能力,为低资源地区扩大产前超声覆盖提供了可参考的验证路径。

10月21日周三
  1. Hugging Face Blog62

    Ai2 发布 FairStress 基准,评估 LLM 决策中的隐性人口统计公平差异

    Ai2 发布 FairStress 基准,用于测量 LLM 在最终选择之外的决策稳健性公平差异,包含 300 个双候选人场景、29 个领域,经人口统计身份与对抗前缀组合扩展至超过 1300 万测试用例,并提供 50K 项的 FairStress-Core 子集。

    推荐理由:原文用对抗前缀揭示了输出层公平掩盖的决策稳健性差异,并给出相对有效的反事实 CoT 缓解方法。