用 Amazon SageMaker JumpStart 部署与评估模型
Amazon SageMaker JumpStart 提供预训练模型目录,可用 SageMaker Python SDK 部署模型、运行轻量可重复的性能测试并删除端点,实测单请求延迟 9.07 秒、约 153 词输出、16.9 words/second。
Amazon SageMaker JumpStart 提供预训练模型目录,可用 SageMaker Python SDK 部署模型、运行轻量可重复的性能测试并删除端点,实测单请求延迟 9.07 秒、约 153 词输出、16.9 words/second。
Google 今日在全球推出 Gemini 4 Argon,开发者可通过 AI Studio 和 Gemini 平台的 API 使用,AI Ultra 订阅者可在 Google Antigravity 中使用。
推荐理由:原文汇总了定价、榜单位置与安全数据,读者可据此横向比较各家旗舰模型的取舍。
Liquid AI 开源 LFM2.5-24B-A2B,一个 24B 参数、仅 2B 激活参数的推理模型,面向端侧快速私密的智能体场景,支持工具调用与多步任务。
推荐理由:给出了架构、训练流程与多组对比数据,读者可据此判断它在端侧智能体场景的取舍边界。
Google 正式发布 Gemini 4 Argon 模型,称其在编码、网络安全、科学、金融和法律等多项基准上超过 GPT-6 Astra、Claude Fable 5.1 和 Claude Opus 5.5,并减少了模型的含糊、重复和套话。
推荐理由:原文交代了定价与开放范围,读者可据此判断它对现有模型成本结构的冲击。
Meta Superintelligence Labs(MSL)发布第二代模型家族 Muse Wonder(代号 Watermelon)与 Muse Wonder Full,定位为面向个人与专业智能体工作的前沿模型,1M 上下文窗口,定价为 $4/M 输入、$20/M 输出。
推荐理由:原文汇总了第三方评测数据与从业者正反两方反馈,读者可据此判断该模型的真实定位与争议点。
Meta 发布 Muse Wonder 和 Muse Wonder Full 两个前沿模型,Artificial Analysis Intelligence Index v4.3 得分分别为 52 和 56,前代 Muse Spark 1.3 为 48。
Meta 发布两款新模型 Muse Wonder 和 Muse Wonder Full,Muse Code 订阅者即日起可用,Wonder 还可通过 Meta Model API 访问。
Microsoft Research 发布研究系统 StudentSim,用公开去标识学习记录训练个性化 AI 学生模拟器,用于在真人测试前评估和改进 AI 导师。
Import AI 476 本期涵盖多个主题:Elorian 与 Scale AI 发布 Humanity's Sixth Sense 视觉推理基准,人类 pass@1 达 93.1。
Epoch AI 用基准 InnovationEval 测试 AI 智能体能否自主研究,任务是发明一种改进语言模型训练的新方法,以 GRPO 为起点、SDPO 为人类参考方法,测试了 Claude Fable 5 和 GPT-5.6 Sol。
The Verge 作者实测了 AI 智能体 Instinct,并将其与 Meta 的 Muse、OpenAI 的 Dots 对比,认为它在处理在线任务上表现相当。
AI 模型众包评测平台 Arena 宣布完成 2 亿美元 B 轮融资,估值 31 亿美元,10 个月内估值接近翻倍。本轮由 Lightspeed Venture Partners 和 Khosla Ventures 领投,Salesforce Ventures、a16z 等参投;公司 6 月称年化营收达 1 亿美元,1 月 A 轮时为 3000 万美元。
Microsoft Research Podcast 采访了 Microsoft 合作研究经理、Purdue 计算机科学与统计学 Samuel D. Conte 讲席教授 Jennifer Neville,探讨评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。
一项基准测试了本地 `Qwen3.8-27B-Q4_K_M.gguf` 模型将正整数相加并仅用英文单词表达精确结果的能力,在 5,070 个关闭推理的用例中数值准确率为 23.57%,一至三位数为 97.04%、十至十三位数降至 6.44%,格式合规率 96.17%。
GitHub 发布 ReviewBench,一个面向 AI 代码审查的开放离线基准,语料基于对 103.9M GitHub pull requests 的分析,包含 19 种语言、187 个公开仓库的 219 个 pull requests。
Microsoft 与 Hugging Face 联合发布 ThinkingBox 沙箱与 ThinkingBox-Bench 基准,按智能体留下的后端终态与副作用而非其自述来打分,覆盖 507 个有状态业务工作流,每个任务独立运行 20 次。
推荐理由:文章用可执行的状态检查揭示工具调用正确不等于结果正确,并给出可复现的评测环境与复现步骤。
Mercor 的一项研究让 12 名平均从业五年半的持证 CPA 完成 APEX Accounting Benchmark 的简化任务,发现 AI 模型在结构化记账任务上比会计师更快、更准且更便宜;18 个月前最好的模型得分还低于会计师约 37% 的平均水平,如今几乎能完美完成同类任务。
Google DeepMind 发布 Gemini 4 Argon,面向编码、企业知识工作和网络防御,称在 19 项可信评测中 13 项居首,DeepSWE 得 77.9%(Opus 5.5 为 74.2%、Astra 为 74.1%),并经 Fairwind Program 先向政府用户和可信网络防御者开放。
Google 发布新前沿模型 Gemini 4 Argon,这是继 Gemini 3.1 Pro 之后七个多月来的首个前沿模型,在部分基准上追平或超过 OpenAI 与 Anthropic 的竞品。
推荐理由:文章汇总了独立评测与价格数据,读者可据此判断它与竞品的真实差距和成本结构。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评估多语言 TTS 与声音克隆模型,包括用 Qwen3 ASR 计算 WER/CER 衡量可懂度、在 H200 GPU 上测 RTFx 与 TTFA 衡量速度、用 WavLM 嵌入余弦相似度衡量说话人相似度,评测一个模型的时间从收集投票的数周缩短到数小时。
OpenAI 在 DevDay 2026 发布语音智能体 Dots、ChatGPT Spaces、GPT-6.1 Sol、Ultrafast 模式、Decisions API、Agents API 等新品,GPT-6.1 Sol 定价 $2/$10 per M tokens,宣称接近 Astra 智能但价格约为五分之一。
推荐理由:汇总了 OpenAI DevDay 发布与多份独立评测数据,读者可对照官方宣称与第三方结果判断新模型的真实性价比。
Anthropic 发布 Claude Sonnet 5.5,官方称其运行速度快 30% 以上,多数任务成本最多降低 30%,定价与 Sonnet 5 相同但在各项基准上均优于后者。
推荐理由:作者实测了 Sonnet 5.5 的思考预算、编码表现与免费层能力,可据此判断它与 Opus 5.5 及竞品免费档的差距。
Anthropic 发布 Claude 5.5 家族第二款模型 Claude Sonnet 5.5,输出速度提升超过 30%,单任务成本最多降低 30%,在多项基准上接近 Opus 5.5。
推荐理由:梳理了 Sonnet 5.5 与 Opus 5.5、GPT-6 系列的基准与价格对照,可据此判断中端模型的性价比位置。
GPT-6 Astra 完成 50 个标签页的税务工作簿速度是 GPT-5.6 Sol 的 2 倍,其更强的用户意图理解能力让 Basis 对实际使用更有信心。
XPRIZE Wildfire 竞赛的获奖方案能在 10 分钟内发现野火,但无法阻止火势蔓延。这场奖金 1100 万美元的竞赛表明,野火探测仍比扑灭野火更容易。
OpenAI 推出 MentalHealthBench,一个由专家参与设计的评测基准,用于评估 AI 在真实心理健康对话场景中回复的有用性与安全性。该基准覆盖心理健康对话中的典型情境,衡量模型在相关场景下的表现。
英国 AI Security Institute(AISI)正采用 EvalEval 的 Every Eval Ever schema 与 Evaluation Cards 平台公开分享评测结果,以提升评测科学的可复现性。
TypeSafe AI 上周发布 Jev,一种被称为 System One models(Simon Willison 认为叫 decision models 更合适)的新形态模型:接受文本输入,但输出对应类别、是非问题、评分的浮点数与置信度。
Databricks 将 GPT-6 Astra 推广至约 3,500 名工程师后,报告整体编码支出增加约 60%,为此专门设立 Astra 子预算以鼓励按需使用。
NVIDIA 宣布 Vera Rubin NVL72 在 MLPerf Inference v6.1 首次提交中亮相,在 Qwen3-VL 上吞吐量较 GB300 NVL72 最高提升 3.7 倍,在 DeepSeek-R1 上最高提升 2.5 倍。
推荐理由:原文给出与上代系统的吞吐对比和扩展效率数据,读者可据此评估其推理经济性影响。
Hugging Face 博客介绍了 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer:在 AppWorld test_normal(168 任务)上,GPT-4.1 驱动的 ReAct agent 平均 Mean@5 为 77.4%,但 Pass^5 仅 53.0%,存在 24.4pp 的一致性差距。
Hugging Face 与 Allen AI 介绍 BenchMIRT,一种在单条题目层面审计 LLM 评测基准的方法,基于多维 IRT(MIRT)估计模型在各能力维度上的强度与每道题的难度和区分度。
Voice Arena 与 Hugging Face 合作向 Open ASR Leaderboard 新增 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,Hindi 成为该多语言标签页上的首个 Indic 语言。
推荐理由:原文用分区 WER 差异和 lattice 打分对比说明单一 WER 的盲区,读者可据此理解榜单评测的可迁移设计。
Google DeepMind 宣布推出全球首个针对专有前沿模型的双盲评测,将外部评测限制在密码学“盒子”中,防止模型事后利用考题优化成绩。该评测与 Singapore AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作,在保护隐私的环境中用保密基准测试 Gemini Flash Lite 模型,以缓解基准污染问题、提升评测完整性。
一项覆盖 1,000 多名学生的随机对照研究考察了 ChatGPT 与批判性思维训练对学生在真实大学作业中表现的影响,关注其答案质量、思维广度与原创性。研究以随机分组方式评估学生使用 ChatGPT 后的作业表现。
Hugging Face 发布研究,提出三种测试来量化语音识别中的基准优化(benchmaxxing)现象,并评测了 11 个广泛使用的开源 ASR 模型。
推荐理由:研究给出三种可量化探测方法与具体数据,读者可据此理解公开语音基准分数虚高的机制并改进自己的评测选择。
Hugging Face Blog 发文介绍 ALTK-Evolve 在 AppWorld 585 个多步任务、八个模型上的评测,结论是 Agent 记忆不是开关而是需按模型校准的剂量:有余量的强模型适合注入完整指南集,弱模型适合紧凑核心加按任务检索,饱和模型无可测增益。
Import AI 第 469 期介绍了新基准 DiG-bench(Discovery in Games),包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏,其中 21 款已公开。
微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,图像与视频生成工具也难以在动作序列中稳定保持拓扑关系。
OpenAI 通过两个 API 设置——保留推理(retaining reasoning)和启用 compaction——使 GPT-5.6 在 ARC-AGI-3 benchmark 上的得分提升至原来的三倍,同时提高了效率。