Google Research 论文评测 6 个 LLM 回答超导研究专家问题
Google Research 与 Cornell University 合作在 PNAS 发表论文，用 67 道高温超导专家问题评测 6 个 LLM（GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 及自建 RAG 系统），由专家按 0-2 分六项指标盲评。
#评测/基准
Google ResearchAI 评分5656
OpenAI NewsAI 评分3434 OpenAI 与 Pacific Northwest National Laboratory 合作加速联邦许可审批
OpenAI 与 Pacific Northwest National Laboratory 推出 DraftNEPABench，评估 AI 编码智能体加速联邦许可审批的能力，显示可将 NEPA 起草时间最多缩短 15%，推动基础设施审查现代化。
OpenAI NewsAI 评分4747 OpenAI：为何我们不再评测 SWE-bench Verified
OpenAI 宣布不再评测 SWE-bench Verified，称该基准日益受到数据污染，无法准确衡量前沿编码能力进展。其分析发现该基准存在测试用例缺陷与训练数据泄漏问题。OpenAI 建议改用 SWE-bench Pro。
OpenAI NewsAI 评分3333 OpenAI 分享 First Proof 数学挑战的 AI 证明尝试
OpenAI 公开了其 AI 模型针对 First Proof 数学挑战提交的证明尝试，在专家级问题上测试研究级推理能力。
Hugging Face BlogAI 评分5757 IBM 与 UC Berkeley 用 IT-Bench 和 MAST 诊断企业智能体失败原因
IBM Research 与 UC Berkeley 合作用 MAST 失败分类法分析 ITBench 的 310 条 SRE 执行轨迹，把原始日志转成结构化失败签名。
OpenAI NewsAI 评分4545 OpenAI 与 Paradigm 推出 EVMbench 智能合约漏洞评测基准
OpenAI 与 Paradigm 联合推出 EVMbench，用于评测 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准面向智能合约安全场景，衡量 AI 智能体在漏洞发现与修复任务上的表现。
Hugging Face Blog精选AI 评分6060 Hugging Face 推出 Community Evals：模型自存评测分数、社区可提交榜单结果
Hugging Face 推出 Community Evals，让基准数据集仓库可托管排行榜，模型仓库自行存储评测分数，社区可通过 PR 提交结果，Verified 徽章标识可复现的结果。
推荐理由：原文说明了分数分散在各处的问题和去中心化上报机制，读者可理解它如何让评测过程变得可追溯。
Hugging Face BlogAI 评分4747 H Company 的 Holo2-235B-A22B Preview 在 UI 本地化上取得领先
H Company 发布了迄今最大的 UI 本地化模型 Holo2-235B-A22B Preview，在 Screenspot-Pro 上以 78.5%、OSWorld G 上以 79.0% 刷新 SOTA，现已上线 Hugging Face。
Hugging Face BlogAI 评分3636 Alyah：面向阿拉伯语大语言模型的阿联酋方言能力评测基准
Hugging Face 团队推出阿联酋方言评测基准 Alyah，含 1,173 个人工采集的四选一选择题样本，覆盖问候、诗歌、历史遗产等 7 类内容。
Hugging Face BlogAI 评分4747 AssetOpsBench：弥合 AI Agent 基准与工业现实的差距
Hugging Face 推出 AssetOpsBench，一个面向工业资产管理的 Agent 评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种故障模式，从任务完成、检索准确率、结果验证、序列正确性、清晰度与幻觉率六个维度打分。
Hugging Face BlogAI 评分5656 NVIDIA 用 NeMo Evaluator 复现 Nemotron 3 Nano 30B A3B 评测结果
NVIDIA 发布 Nemotron 3 Nano 30B A3B 的完整评测配方，用开源的 NeMo Evaluator 库公开配置、日志与产物，供任何人复跑评测管线并独立核验模型卡结果。
OpenAI NewsAI 评分4545 OpenAI 推出 FrontierScience 基准，评测 AI 执行科研任务的能力
OpenAI 推出 FrontierScience 基准，用于测试 AI 在物理、化学和生物学领域的推理能力，衡量其向真实科研任务迈进的进展。
OpenAI NewsAI 评分4747 OpenAI 评估 AI 加速生物研究能力的框架
OpenAI 推出一套真实世界评估框架，用于衡量 AI 加速湿实验生物研究的能力。该工作使用 GPT-5 优化分子克隆实验方案，探索 AI 辅助实验的潜力与风险。
Google DeepMindAI 评分5555 Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite 评测大语言模型事实性
Google DeepMind 联合 Kaggle 推出 FACTS Benchmark Suite，包含 Parametric、Search、Multimodal 三个新基准及更新版 Grounding v2，共 3,513 个样例并公开发布，Kaggle 负责管理私有集、测试主流 LLM 并运营公开榜单。
Google ResearchAI 评分4747 Google Research 推出 Massive Sound Embedding Benchmark（MSEB）：面向听觉智能的新基准
Google Research 在 NeurIPS 2025 推出 Massive Sound Embedding Benchmark（MSEB），标准化评测转写、分类、检索、推理、分割、聚类、重排、重建八项听觉核心能力。
Hugging Face BlogAI 评分5555 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道并总结趋势
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，截至 21 Nov 2025 已对比来自 18 个机构的 60+ 开源与闭源模型、覆盖 11 个数据集，并配有一篇预印本总结趋势。
OpenAI NewsAI 评分1515 OpenAI：评测（evals）如何驱动企业 AI 的下一章
OpenAI 阐述评测（evals）如何帮助企业定义、衡量并改进 AI 表现，从而降低风险、提升生产力并获得战略优势。文章聚焦评测在企业落地 AI 过程中的作用机制。
Google ResearchAI 评分4646 DS-STAR：一个达到 SOTA 的通用数据科学智能体
Google Research 提出数据科学智能体 DS-STAR，通过数据文件分析模块、LLM judge 验证与迭代式规划，在 DABStep、KramaBench、DA-Code 上取得 SOTA，准确率分别达 45.2%、44.7%、38.5%，超过 AutoGen 与 DA-Agent。
OpenAI NewsAI 评分3636 OpenAI 推出 IndQA：面向印度语言的 AI 评测基准
OpenAI 推出 IndQA，一个用于评估 AI 系统印度语言能力的新基准。该基准与领域专家合作构建，覆盖 12 种语言和 10 个知识领域，测试文化理解与推理能力。
OpenAI NewsAI 评分4444 GPT-5 System Card 补充说明：敏感对话
OpenAI 发布 GPT-5 System Card 补充说明，详述 GPT-5 在敏感对话处理上的改进，新增情感依赖、心理健康与越狱抵抗三类 benchmark。
Mistral AIAI 评分5858 Mistral AI Studio 发布：面向企业生产环境的 AI 平台
Mistral AI 发布 Mistral AI Studio，一个面向企业团队的生产级 AI 平台，现已开放 private beta 报名。
Hugging Face BlogAI 评分4444 Google Cloud C4 搭配 Intel 与 Hugging Face 实现 GPT OSS 70% TCO 改善
Intel 与 Hugging Face 合作测试显示，Google Cloud C4 虚拟机（搭载 Intel Xeon 6 处理器）运行 OpenAI GPT OSS 大语言模型时，总拥有成本（TCO）较上一代 C3 虚拟机改善 1.7 倍（约 70%）。
OpenAI NewsAI 评分3838 OpenAI 如何定义和评估大语言模型的政治偏见
OpenAI 介绍了其评估 ChatGPT 政治偏见的新方法，通过改进真实世界测试来提升客观性并减少偏见。该方法用于定义和衡量大语言模型在政治议题上的立场倾向，帮助改善模型输出的中立性。
Hugging Face Blog精选AI 评分6464 Hugging Face BigCodeArena 发布：通过代码执行评测代码生成模型
Hugging Face BigCode 团队宣布推出 BigCodeArena，一个通过实际执行代码来评测代码生成模型的人机协同平台，用户可提交任务、让两个模型生成方案、执行并投票，结果汇总为排行榜。
推荐理由：原文给出平台机制、社区投票数据和分层排名，读者可据此理解执行反馈如何改变代码模型评测方式。
OpenAI News精选AI 评分6060 OpenAI 发布 AgentKit、扩展 Evals 与智能体强化微调工具
OpenAI 发布三款面向智能体开发的新工具：AgentKit、扩展的 Evals 能力，以及面向智能体的强化微调（reinforcement fine-tuning），帮助开发者更快从原型走向生产。
推荐理由：官方点明三件套面向从原型到生产，读者可据此判断其覆盖的开发环节。
Hugging Face BlogAI 评分5656 Hugging Face 推出检索嵌入评测基准 RTEB 测试版
Hugging Face 发布检索嵌入基准 RTEB 的测试版，用于评估 embedding 模型在真实应用中的检索准确度。它采用公开与私有数据集混合策略，公开部分可复现，私有部分由 MTEB 维护者评测以保证公正，模型若在两者间表现落差明显即提示过拟合。
OpenAI NewsAI 评分4747 OpenAI 推出 GDPval：衡量模型在真实经济任务上的表现
OpenAI 推出 GDPval，一项衡量模型在 44 个职业的真实经济价值任务上表现的新评测。该评测覆盖跨行业的实际工作场景，用于评估模型在真实世界任务中的能力。
Hugging Face Blog精选AI 评分7373 Hugging Face 发布智能体评测基准 Gaia2 与开源框架 ARE
Hugging Face 发布智能体评测基准 Gaia2 及配套开源框架 Meta Agents Research Environments（ARE），Gaia2 数据集以 CC by 4.0 许可发布，ARE 以 MIT 许可发布。
推荐理由：原文给出了评测维度与各模型的强弱分布，读者可据此判断当前智能体能力的真实短板所在。
Hugging Face BlogAI 评分5454 Hugging Face 推出 TextQuests 基准：用25款经典文字冒险游戏评测 LLM 智能体
Hugging Face 发布 TextQuests 基准，基于25款经典 Infocom 交互式小说游戏评测 LLM 作为自主智能体的能力，这些游戏人类通关需超过30小时和数百步精确操作。
Hugging Face BlogAI 评分4545 FilBench：LLM 能否理解和生成菲律宾语？
Hugging Face 推出 FilBench 评测套件，用 4 大类 12 项任务评估 20+ 个 LLM 在 Tagalog、Filipino 和 Cebuano 上的文化知识、经典 NLP、阅读理解与生成能力，结果已作为社区任务上线 Lighteval。
Hugging Face BlogAI 评分3838 3LM：面向阿拉伯语 LLM 的 STEM 与代码生成评测基准
Hugging Face 推出首个面向阿拉伯语 LLM 的 STEM 与代码生成评测基准 3LM，包含 865 道原生 MCQ、1,744 道合成 MCQ，以及翻译自 HumanEval+ 和 MBPP+ 的代码任务。
Hugging Face BlogAI 评分5555 Hugging Face 开源长视频理解基准 TimeScope：多数 SOTA 模型仍难真正理解长视频
Hugging Face 发布并开源长视频理解基准 TimeScope，通过在 1 分钟至 8 小时的视频中插入 5-10 秒短片作为“针”，以局部检索、信息综合、细粒度时序感知三类任务评估模型的真实时序理解能力。
Hugging Face BlogAI 评分5757 Hugging Face 推出 FutureBench：用预测未来事件评测 AI 智能体
Hugging Face 发布 FutureBench，通过让 AI 智能体预测未来事件来评测能力，以规避数据污染并获得可随时间验证的客观结果。题目来自两处：基于 smolagents 的智能体抓取新闻生成问题（用 DeepSeek-V3 推理、Firecrawl 抓取、Tavily 搜索，每次约 5 题、一周时间窗），以及 Polymarket 每周约 8 题并做筛选。
Hugging Face BlogAI 评分3636 Hugging Face 宣布 NeurIPS 2025 E2LM 竞赛：语言模型早期训练评测
Hugging Face 宣布 NeurIPS 2025 E2LM 竞赛，征集能捕捉 LLM 早期训练阶段（约 200B tokens 内）科学知识领域信号的新评测基准，参赛方案需基于 lm-evaluation-harness 库通过 Hugging Face Space 提交。
Hugging Face BlogAI 评分5555 Hugging Face 发布 ScreenSuite：GUI Agent 综合评测套件
Hugging Face 发布 ScreenSuite，一个覆盖 13 个 benchmark 的 GUI Agent 评测套件，按感知、定位、单步动作、多步智能体四类能力统一评估 Vision Language Models。
OpenAI NewsAI 评分4545 OpenAI 推出 HealthBench 医疗 AI 评测基准
OpenAI 推出 HealthBench，一个在真实场景下评估 AI 模型医疗表现的新评测基准，由 250 多名医生参与共建，旨在为模型在健康领域的性能与安全提供统一标准。
Hugging Face BlogAI 评分5656 HELMET 长上下文模型评测基准发布新结果并亮相 ICLR 2025
HELMET 团队发布长上下文语言模型评测基准的新结果并将在 ICLR 2025 展示，此前该基准已被 Microsoft 的 Phi-4 和 AI21 的 Jamba 1.6 采用。
OpenAI NewsAI 评分3737 OpenAI 发布 BrowseComp：面向浏览智能体的评测基准
OpenAI 推出 BrowseComp，一个专门用于评测浏览智能体（browsing agents）的基准。原文仅给出基准名称与定位，未披露具体任务数量、评分方法或模型成绩。
Mistral AIAI 评分3838 Mistral AI：用 LLM as a Judge 评估 RAG 系统
Mistral AI 介绍了用 LLM as a Judge 评估 RAG 系统的方法：由一个 judge LLM 按数值、二元或定性量表给 generator LLM 的答案打分，并在评测数据集上取平均得到总分。
Hugging Face BlogAI 评分5454 Hugging Face 推出阿拉伯语指令跟随榜单并更新 AraGen
Inception 与 MBZUAI 合作推出 Arabic-Leaderboards Space，集中呈现阿拉伯语 AI 评测，目前上线 AraGen-03-25 与 Arabic Instruction Following 两个榜单。