Google Research 推出 Massive Sound Embedding Benchmark（MSEB）：面向听觉智能的新基准
Google Research 在 NeurIPS 2025 推出 Massive Sound Embedding Benchmark（MSEB），标准化评测转写、分类、检索、推理、分割、聚类、重排、重建八项听觉核心能力。
#评测/基准
Google ResearchAI 评分4747
Hugging Face BlogAI 评分5555 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道并总结趋势
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，截至 21 Nov 2025 已对比来自 18 个机构的 60+ 开源与闭源模型、覆盖 11 个数据集，并配有一篇预印本总结趋势。
OpenAI NewsAI 评分1515 OpenAI：评测（evals）如何驱动企业 AI 的下一章
OpenAI 阐述评测（evals）如何帮助企业定义、衡量并改进 AI 表现，从而降低风险、提升生产力并获得战略优势。文章聚焦评测在企业落地 AI 过程中的作用机制。
Google ResearchAI 评分4646 DS-STAR：一个达到 SOTA 的通用数据科学智能体
Google Research 提出数据科学智能体 DS-STAR，通过数据文件分析模块、LLM judge 验证与迭代式规划，在 DABStep、KramaBench、DA-Code 上取得 SOTA，准确率分别达 45.2%、44.7%、38.5%，超过 AutoGen 与 DA-Agent。
OpenAI NewsAI 评分3636 OpenAI 推出 IndQA：面向印度语言的 AI 评测基准
OpenAI 推出 IndQA，一个用于评估 AI 系统印度语言能力的新基准。该基准与领域专家合作构建，覆盖 12 种语言和 10 个知识领域，测试文化理解与推理能力。
OpenAI NewsAI 评分4444 GPT-5 System Card 补充说明：敏感对话
OpenAI 发布 GPT-5 System Card 补充说明，详述 GPT-5 在敏感对话处理上的改进，新增情感依赖、心理健康与越狱抵抗三类 benchmark。
Mistral AIAI 评分5858 Mistral AI Studio 发布：面向企业生产环境的 AI 平台
Mistral AI 发布 Mistral AI Studio，一个面向企业团队的生产级 AI 平台，现已开放 private beta 报名。
Hugging Face BlogAI 评分4444 Google Cloud C4 搭配 Intel 与 Hugging Face 实现 GPT OSS 70% TCO 改善
Intel 与 Hugging Face 合作测试显示，Google Cloud C4 虚拟机（搭载 Intel Xeon 6 处理器）运行 OpenAI GPT OSS 大语言模型时，总拥有成本（TCO）较上一代 C3 虚拟机改善 1.7 倍（约 70%）。
OpenAI NewsAI 评分3838 OpenAI 如何定义和评估大语言模型的政治偏见
OpenAI 介绍了其评估 ChatGPT 政治偏见的新方法，通过改进真实世界测试来提升客观性并减少偏见。该方法用于定义和衡量大语言模型在政治议题上的立场倾向，帮助改善模型输出的中立性。
Hugging Face Blog精选AI 评分6464 Hugging Face BigCodeArena 发布：通过代码执行评测代码生成模型
Hugging Face BigCode 团队宣布推出 BigCodeArena，一个通过实际执行代码来评测代码生成模型的人机协同平台，用户可提交任务、让两个模型生成方案、执行并投票，结果汇总为排行榜。
推荐理由：原文给出平台机制、社区投票数据和分层排名，读者可据此理解执行反馈如何改变代码模型评测方式。
OpenAI News精选AI 评分6060 OpenAI 发布 AgentKit、扩展 Evals 与智能体强化微调工具
OpenAI 发布三款面向智能体开发的新工具：AgentKit、扩展的 Evals 能力，以及面向智能体的强化微调（reinforcement fine-tuning），帮助开发者更快从原型走向生产。
推荐理由：官方点明三件套面向从原型到生产，读者可据此判断其覆盖的开发环节。
Hugging Face BlogAI 评分5656 Hugging Face 推出检索嵌入评测基准 RTEB 测试版
Hugging Face 发布检索嵌入基准 RTEB 的测试版，用于评估 embedding 模型在真实应用中的检索准确度。它采用公开与私有数据集混合策略，公开部分可复现，私有部分由 MTEB 维护者评测以保证公正，模型若在两者间表现落差明显即提示过拟合。
OpenAI NewsAI 评分4747 OpenAI 推出 GDPval：衡量模型在真实经济任务上的表现
OpenAI 推出 GDPval，一项衡量模型在 44 个职业的真实经济价值任务上表现的新评测。该评测覆盖跨行业的实际工作场景，用于评估模型在真实世界任务中的能力。
Hugging Face Blog精选AI 评分7373 Hugging Face 发布智能体评测基准 Gaia2 与开源框架 ARE
Hugging Face 发布智能体评测基准 Gaia2 及配套开源框架 Meta Agents Research Environments（ARE），Gaia2 数据集以 CC by 4.0 许可发布，ARE 以 MIT 许可发布。
推荐理由：原文给出了评测维度与各模型的强弱分布，读者可据此判断当前智能体能力的真实短板所在。
Hugging Face BlogAI 评分5454 Hugging Face 推出 TextQuests 基准：用25款经典文字冒险游戏评测 LLM 智能体
Hugging Face 发布 TextQuests 基准，基于25款经典 Infocom 交互式小说游戏评测 LLM 作为自主智能体的能力，这些游戏人类通关需超过30小时和数百步精确操作。
Hugging Face BlogAI 评分4545 FilBench：LLM 能否理解和生成菲律宾语？
Hugging Face 推出 FilBench 评测套件，用 4 大类 12 项任务评估 20+ 个 LLM 在 Tagalog、Filipino 和 Cebuano 上的文化知识、经典 NLP、阅读理解与生成能力，结果已作为社区任务上线 Lighteval。
Hugging Face BlogAI 评分3838 3LM：面向阿拉伯语 LLM 的 STEM 与代码生成评测基准
Hugging Face 推出首个面向阿拉伯语 LLM 的 STEM 与代码生成评测基准 3LM，包含 865 道原生 MCQ、1,744 道合成 MCQ，以及翻译自 HumanEval+ 和 MBPP+ 的代码任务。
Hugging Face BlogAI 评分5555 Hugging Face 开源长视频理解基准 TimeScope：多数 SOTA 模型仍难真正理解长视频
Hugging Face 发布并开源长视频理解基准 TimeScope，通过在 1 分钟至 8 小时的视频中插入 5-10 秒短片作为“针”，以局部检索、信息综合、细粒度时序感知三类任务评估模型的真实时序理解能力。
Hugging Face BlogAI 评分5757 Hugging Face 推出 FutureBench：用预测未来事件评测 AI 智能体
Hugging Face 发布 FutureBench，通过让 AI 智能体预测未来事件来评测能力，以规避数据污染并获得可随时间验证的客观结果。题目来自两处：基于 smolagents 的智能体抓取新闻生成问题（用 DeepSeek-V3 推理、Firecrawl 抓取、Tavily 搜索，每次约 5 题、一周时间窗），以及 Polymarket 每周约 8 题并做筛选。
Hugging Face BlogAI 评分3636 Hugging Face 宣布 NeurIPS 2025 E2LM 竞赛：语言模型早期训练评测
Hugging Face 宣布 NeurIPS 2025 E2LM 竞赛，征集能捕捉 LLM 早期训练阶段（约 200B tokens 内）科学知识领域信号的新评测基准，参赛方案需基于 lm-evaluation-harness 库通过 Hugging Face Space 提交。
Hugging Face BlogAI 评分5555 Hugging Face 发布 ScreenSuite：GUI Agent 综合评测套件
Hugging Face 发布 ScreenSuite，一个覆盖 13 个 benchmark 的 GUI Agent 评测套件，按感知、定位、单步动作、多步智能体四类能力统一评估 Vision Language Models。
OpenAI NewsAI 评分4545 OpenAI 推出 HealthBench 医疗 AI 评测基准
OpenAI 推出 HealthBench，一个在真实场景下评估 AI 模型医疗表现的新评测基准，由 250 多名医生参与共建，旨在为模型在健康领域的性能与安全提供统一标准。
Hugging Face BlogAI 评分5656 HELMET 长上下文模型评测基准发布新结果并亮相 ICLR 2025
HELMET 团队发布长上下文语言模型评测基准的新结果并将在 ICLR 2025 展示，此前该基准已被 Microsoft 的 Phi-4 和 AI21 的 Jamba 1.6 采用。
OpenAI NewsAI 评分3737 OpenAI 发布 BrowseComp：面向浏览智能体的评测基准
OpenAI 推出 BrowseComp，一个专门用于评测浏览智能体（browsing agents）的基准。原文仅给出基准名称与定位，未披露具体任务数量、评分方法或模型成绩。
Mistral AIAI 评分3838 Mistral AI：用 LLM as a Judge 评估 RAG 系统
Mistral AI 介绍了用 LLM as a Judge 评估 RAG 系统的方法：由一个 judge LLM 按数值、二元或定性量表给 generator LLM 的答案打分，并在评测数据集上取平均得到总分。
Hugging Face BlogAI 评分5454 Hugging Face 推出阿拉伯语指令跟随榜单并更新 AraGen
Inception 与 MBZUAI 合作推出 Arabic-Leaderboards Space，集中呈现阿拉伯语 AI 评测，目前上线 AraGen-03-25 与 Arabic Instruction Following 两个榜单。
OpenAI NewsAI 评分4444 PaperBench：评估 AI 复现 AI 研究能力的基准
OpenAI 推出 PaperBench，一个评估 AI 智能体复现最先进 AI 研究能力的基准。该基准要求智能体从零开始复现前沿论文的代码与实验结果，以衡量其独立完成科研任务的水平。
Hugging Face BlogAI 评分4444 用 Arize Phoenix 追踪与评估你的 Agent
Arize Phoenix 提供集中式平台，可实时追踪、评估和调试 Agent 的决策过程。教程以 smolagents 构建的 CodeAgent 为例，通过 OpenTelemetry + OpenInference 自动捕获 smolagents 调用的 trace。
OpenAI NewsAI 评分4949 OpenAI 推出 SWE-Lancer 基准测试
OpenAI 推出 SWE-Lancer 基准测试，让前沿 LLM 在真实自由职业软件工程任务中竞争赚取 100 万美元。该基准以真实 Upwork 悬赏任务为题源，考察模型端到端完成编码与管理工作交付的能力。
Hugging Face Blog精选AI 评分6161 Hugging Face 用 Math-Verify 重新评估 Open LLM Leaderboard 全部 3,751 个模型
Hugging Face 用 Math-Verify 替换 Open LLM Leaderboard 上的旧数学评测器，重新评估了提交过的全部 3,751 个模型。
推荐理由：原文给出旧评测器的三类解析缺陷与修复后分数变化，读者可据此理解评测口径对排行榜的实际影响。
Hugging Face BlogAI 评分4444 Open Arabic LLM Leaderboard 2 发布
Hugging Face 与 2A2I、TII 联合推出 Open Arabic LLM Leaderboard 2（OALL 2），在首版 14 项 benchmark 基础上扩充阿拉伯语方言、领域与真实场景数据集，并提升评测透明度。
Hugging Face BlogAI 评分5757 Hugging Face 与 Adyen 发布 DABStep 数据分析多步推理基准
Hugging Face 与 Adyen 联合发布 DABStep（Data Agent Benchmark for Multi-step Reasoning），包含 450+ 来自 Adyen 真实工作负载的数据分析任务，用于评估 LLM 与 AI 智能体的多步推理能力。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Judge Arena 平台对比 LLM 评判能力
Hugging Face 与 Atla 联合推出 Judge Arena，让任何人并排对比模型作为评判者的表现：系统随机生成或自定义样本，两个 LLM 评判者分别打分并给出理由，用户投票选出更符合自己判断的一方，投票后才揭示模型名以避免偏差。
OpenAI NewsAI 评分4545 OpenAI 发布 SimpleQA 事实性基准
OpenAI 发布事实性基准 SimpleQA，用于衡量语言模型回答简短事实性问题的能力。该基准聚焦模型在短事实查询上的作答表现，为评估大语言模型的事实准确性提供统一衡量标准。
Hugging Face BlogAI 评分5050 Hugging Face 案例：用 LLM-as-a-Judge 评估农业 RAG 应用 Farmer.chat
Digital Green 在 Hugging Face Expert Support 项目支持下，为面向小农户的 RAG 聊天机器人 Farmer.chat 搭建了 LLM-as-a-judge 评估体系，覆盖提示词清晰度、问题类型、已回答比例和 RAG 准确性等指标，其中 RAG 准确性用二元打分提示词（灵感来自 RAGAS 库）在约 360 道题上与人工评估高度相关。
Hugging Face BlogAI 评分4747 Hugging Face 发布 CinePile 2.0：用对抗式精炼打造更强的长视频 QA 数据集
Hugging Face 与合作方发布长视频 QA 数据集 CinePile 2.0，并开源了配套的对抗式数据集精炼（adversarial dataset refinement）方法实现。
OpenAI NewsAI 评分3030 ChatGPT 公平性评估
OpenAI 分析了 ChatGPT 如何根据用户姓名作出回应，并使用 AI 研究助手来保护用户隐私。
OpenAI NewsAI 评分4545 MLE-bench：评测 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，一个用于衡量 AI 智能体在机器学习工程任务上表现的评测基准。该基准面向机器学习工程场景，评估智能体完成相关任务的能力。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Open FinLLM Leaderboard 金融大语言模型评测榜
Hugging Face 推出 Open FinLLM Leaderboard（OFLL），一个面向金融领域的大语言模型零样本评测框架，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测、决策七大任务类别，使用 Accuracy、F1 Score、ROUGE Score、MCC 等指标，数据集取自真实金融场景，用于评估模型在金融任务上的实际可用性。
Hugging Face BlogAI 评分3434 BenCzechMark：你的 LLM 懂捷克语吗？
Hugging Face 推出 BenCzechMark，这是首个全面评估大语言模型（LLM）捷克语能力的评测套件，包含 9 大类共 50 项任务，其中 90% 为原生非翻译内容。