PaperBench：评估 AI 复现 AI 研究能力的基准
OpenAI 推出 PaperBench，一个评估 AI 智能体复现最先进 AI 研究能力的基准。该基准要求智能体从零开始复现前沿论文的代码与实验结果，以衡量其独立完成科研任务的水平。
#评测/基准
OpenAI NewsAI 评分4444
Hugging Face BlogAI 评分4444 用 Arize Phoenix 追踪与评估你的 Agent
Arize Phoenix 提供集中式平台，可实时追踪、评估和调试 Agent 的决策过程。教程以 smolagents 构建的 CodeAgent 为例，通过 OpenTelemetry + OpenInference 自动捕获 smolagents 调用的 trace。
OpenAI NewsAI 评分4949 OpenAI 推出 SWE-Lancer 基准测试
OpenAI 推出 SWE-Lancer 基准测试，让前沿 LLM 在真实自由职业软件工程任务中竞争赚取 100 万美元。该基准以真实 Upwork 悬赏任务为题源，考察模型端到端完成编码与管理工作交付的能力。
Hugging Face Blog精选AI 评分6161 Hugging Face 用 Math-Verify 重新评估 Open LLM Leaderboard 全部 3,751 个模型
Hugging Face 用 Math-Verify 替换 Open LLM Leaderboard 上的旧数学评测器，重新评估了提交过的全部 3,751 个模型。
推荐理由：原文给出旧评测器的三类解析缺陷与修复后分数变化，读者可据此理解评测口径对排行榜的实际影响。
Hugging Face BlogAI 评分4444 Open Arabic LLM Leaderboard 2 发布
Hugging Face 与 2A2I、TII 联合推出 Open Arabic LLM Leaderboard 2（OALL 2），在首版 14 项 benchmark 基础上扩充阿拉伯语方言、领域与真实场景数据集，并提升评测透明度。
Hugging Face BlogAI 评分5757 Hugging Face 与 Adyen 发布 DABStep 数据分析多步推理基准
Hugging Face 与 Adyen 联合发布 DABStep（Data Agent Benchmark for Multi-step Reasoning），包含 450+ 来自 Adyen 真实工作负载的数据分析任务，用于评估 LLM 与 AI 智能体的多步推理能力。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Judge Arena 平台对比 LLM 评判能力
Hugging Face 与 Atla 联合推出 Judge Arena，让任何人并排对比模型作为评判者的表现：系统随机生成或自定义样本，两个 LLM 评判者分别打分并给出理由，用户投票选出更符合自己判断的一方，投票后才揭示模型名以避免偏差。
OpenAI NewsAI 评分4545 OpenAI 发布 SimpleQA 事实性基准
OpenAI 发布事实性基准 SimpleQA，用于衡量语言模型回答简短事实性问题的能力。该基准聚焦模型在短事实查询上的作答表现，为评估大语言模型的事实准确性提供统一衡量标准。
Hugging Face BlogAI 评分5050 Hugging Face 案例：用 LLM-as-a-Judge 评估农业 RAG 应用 Farmer.chat
Digital Green 在 Hugging Face Expert Support 项目支持下，为面向小农户的 RAG 聊天机器人 Farmer.chat 搭建了 LLM-as-a-judge 评估体系，覆盖提示词清晰度、问题类型、已回答比例和 RAG 准确性等指标，其中 RAG 准确性用二元打分提示词（灵感来自 RAGAS 库）在约 360 道题上与人工评估高度相关。
Hugging Face BlogAI 评分4747 Hugging Face 发布 CinePile 2.0：用对抗式精炼打造更强的长视频 QA 数据集
Hugging Face 与合作方发布长视频 QA 数据集 CinePile 2.0，并开源了配套的对抗式数据集精炼（adversarial dataset refinement）方法实现。
OpenAI NewsAI 评分3030 ChatGPT 公平性评估
OpenAI 分析了 ChatGPT 如何根据用户姓名作出回应，并使用 AI 研究助手来保护用户隐私。
OpenAI NewsAI 评分4545 MLE-bench：评测 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，一个用于衡量 AI 智能体在机器学习工程任务上表现的评测基准。该基准面向机器学习工程场景，评估智能体完成相关任务的能力。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Open FinLLM Leaderboard 金融大语言模型评测榜
Hugging Face 推出 Open FinLLM Leaderboard（OFLL），一个面向金融领域的大语言模型零样本评测框架，覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测、决策七大任务类别，使用 Accuracy、F1 Score、ROUGE Score、MCC 等指标，数据集取自真实金融场景，用于评估模型在金融任务上的实际可用性。
Hugging Face BlogAI 评分3434 BenCzechMark：你的 LLM 懂捷克语吗？
Hugging Face 推出 BenCzechMark，这是首个全面评估大语言模型（LLM）捷克语能力的评测套件，包含 9 大类共 50 项任务，其中 90% 为原生非翻译内容。
OpenAI NewsAI 评分4646 OpenAI 发布 SWE-bench Verified
OpenAI 发布了 SWE-bench 的人工验证子集 SWE-bench Verified，用于更可靠地评估 AI 模型解决真实世界软件问题的能力。
Hugging Face BlogAI 评分4545 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测——还需要微调吗？
Hugging Face 用 LAVE（LLM-Assisted VQA Evaluation）指标对 Docmatix 约 200 张测试图做零样本评测，基线模型 MPLUGDocOwl1.5（在 DocVQA 测试子集上 ANLS 84%）的 LAVE 得分为 0.58，而 CIDER、BLEU、ANLS 分别只有 0.1411、0.0032、0.002。
Hugging Face BlogAI 评分5656 BigCodeBench 发布：面向复杂函数调用的代码生成评测基准
Hugging Face Blog 宣布发布 BigCodeBench，一个包含 1,140 个函数级任务、覆盖 139 个库的代码生成评测基准，每个任务平均含 5.6 个测试用例、平均分支覆盖率达 99%，旨在替代任务过于简单且易受数据污染影响的 HumanEval。
Hugging Face BlogAI 评分5757 CyberSecEval 2 发布：评估 LLM 网络安全风险与能力的综合基准
CyberSecEval 2 是评估 LLM 网络安全风险的开源评测框架，涵盖不安全代码生成、提示词注入、协助网络攻击的顺从度、代码解释器滥用和自动化攻击能力五类测试。自 2023 年 12 月首版以来，LLM 平均协助网络攻击请求的顺从率从 52% 降至 28%；提示词注入防护仍未解决，代码专用模型与通用模型的安全差距在缩小，模型端到端漏洞利用能力仍有限。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open Arabic LLM Leaderboard（OALL）阿拉伯语大语言模型排行榜
Hugging Face 推出 Open Arabic LLM Leaderboard（OALL），专门用于评估和比较阿拉伯语大语言模型，服务全球超过 3.8 亿阿拉伯语使用者。
Hugging Face BlogAI 评分2929 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 推出首个专门评估希伯来语大语言模型的开放排行榜，包含 Hebrew Question Answering、Sentiment Accuracy、Winograd Schema Challenge、Translation 四项基准，均采用 few-shot prompt 格式。
Hugging Face BlogAI 评分5555 Artificial Analysis LLM 性能榜单上线 Hugging Face
Artificial Analysis 的 LLM Performance Leaderboard 上线 Hugging Face，覆盖超过 100 个 serverless LLM API 端点，把质量、价格、速度（延迟与吞吐）三项指标汇总到一处供工程师选型。
Hugging Face BlogAI 评分5656 Hugging Face 与 Dottxt 研究结构化生成如何提升 prompt 一致性
Hugging Face Leaderboards and Evals 团队与 Dottxt 合作研究发现，MMLU 上仅改变 prompt 格式就能让模型分数波动约 10 个点，Qwen1.5-7B 在不同格式下准确率从 51.2% 跌至 22.9%，few-shot 顺序变化也可带来最多 3 分差异，且模型排名会随之改变。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Open CoT Leaderboard：衡量 LLM 的思维链增益
Hugging Face 推出 Open CoT Leaderboard，通过对比模型在有无思维链（CoT）提示下的准确率差值（accuracy gain Δ），衡量 LLM 生成有效推理轨迹的能力，而非绝对准确率。该榜单使用 LogiQA、LSAT 等逻辑推理任务，已实现 Classic 和 Reflect 两种提示策略，旨在更稳健地评估模型推理能力并规避训练数据污染问题。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Open Medical-LLM Leaderboard 医疗大模型评测榜
Hugging Face 与 Open Life Science AI 推出 Open Medical-LLM Leaderboard，用 MedQA、MedMCQA、PubMedQA 及 MMLU 医学与生物学子集等数据集，以准确率为主要指标对比各模型的医疗问答能力。
Hugging Face BlogAI 评分5757 Hugging Face 推出 LiveCodeBench 代码模型排行榜
Hugging Face 推出基于 LiveCodeBench 的代码 LLM 排行榜，该基准由 UC Berkeley、MIT 和 Cornell 研究者开发，题目取自 LeetCode、AtCoder 和 CodeForces 并标注发布时间，可按时间窗口评测以检测和防止数据污染。
Hugging Face BlogAI 评分4545 Hugging Face 与 Lighthouz AI 推出 Chatbot Guardrails Arena：盲测 LLM 隐私护栏
Lighthouz AI 与 Hugging Face 联合推出 Chatbot Guardrails Arena，让用户与两个匿名 LLM 对话，尝试套取虚构银行 XYZ001 的客户敏感财务信息，再投票选出隐私保护更好的一方。
Hugging Face BlogAI 评分4343 ConTextual：多模态模型在文字密集场景中联合推理能力的评测基准
UCLA 研究团队发布 ConTextual 数据集与排行榜，包含 506 条指令，用于评测多模态大模型在文字密集场景中联合推理文本与视觉信息的能力。实验评估了 13 个模型，GPT-4V 表现最佳，在抽象场景推理上超过人类，但在时间读取类任务上表现不佳；开源模型如 LLaVA-v1.5-13B、ShareGPT4V-7B 仅在抽象与自然场景领域达到可接受水平。
Hugging Face BlogAI 评分4747 Hugging Face 推出 TTS Arena：众包评测文本转语音模型
Hugging Face 推出 TTS Arena，一个让用户提交文本、盲听两个 TTS 模型合成语音并投票的众包评测平台，结果将汇总为排行榜。该平台采用类似 LMSys Chatbot Arena 的 Elo 评分系统，投票前不显示模型名以防偏见。首发模型包括 ElevenLabs、MetaVoice、OpenVoice、Pheme、WhisperSpeech 和 XTTS，涵盖开源与闭源。
Mistral AI精选AI 评分7878 Mistral AI 发布旗舰模型 Mistral Large 与低延迟模型 Mistral Small
Mistral AI 发布旗舰语言模型 Mistral Large，称其为通过 API 普遍可用的全球第二强模型（仅次于 GPT-4），具备 32K tokens 上下文窗口、五种语言原生流利、原生 function calling 与精确指令遵循能力。
推荐理由：原文给出基准对比与三种接入方式，读者可据此评估其相对 GPT-4 的定位和部署选择。
Hugging Face BlogAI 评分4747 Hugging Face 推出 Red-Teaming Resistance Leaderboard：用人类越狱提示词测试前沿模型的抗红队能力
Haize Labs 在 Hugging Face 团队支持下推出 Red Teaming Resistance Benchmark，用 AdvBench、Beavertails、Do Not Answer 等多个红队数据集中的高质量人类越狱提示词，系统测试前沿 LLM 在极端红队攻击下的鲁棒性。
Hugging Face BlogAI 评分4747 Hugging Face 推出 Open Ko-LLM Leaderboard：引领韩语 LLM 评测生态
Upstage 于 2023 年 9 月发起 Open Ko-LLM Leaderboard，构建韩语 LLM 评测生态，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA、Ko-CommonGEN V2 五项评测任务，并以私有测试集防止数据污染。
Hugging Face BlogAI 评分3838 NPHardEval 排行榜：用复杂度类与动态更新揭示大语言模型的推理能力
Hugging Face 上线 NPHardEval 排行榜，该基准由密歇根大学与罗格斯大学研究者开发，用 900 道覆盖 NP-Hard 及以下复杂度类的算法题评估大语言模型推理能力，并每月更新题目以防过拟合。
Hugging Face BlogAI 评分4444 Patronus 推出 Enterprise Scenarios Leaderboard：面向真实企业场景的 LLM 排行榜
Patronus 团队联合 Hugging Face 推出 Enterprise Scenarios Leaderboard，基于 Hugging Face Leaderboard Template 构建。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Hallucinations Leaderboard，开源评测大语言模型幻觉
Hugging Face 推出 Hallucinations Leaderboard，一个通过 in-context learning 评测大语言模型幻觉的开放持续项目，已发布 arXiv 论文。
Hugging Face BlogAI 评分4747 Hugging Face 推出 LLM Safety Leaderboard：基于 DecodingTrust 的大模型安全评测榜单
Hugging Face 联合 Secure Learning Lab 发布 LLM Safety Leaderboard，基于 2023 年获 NeurIPS 2023 杰出论文奖的 DecodingTrust 平台，使用 HF leaderboard 模板对大模型进行安全评测。
Hugging Face BlogAI 评分5555 Hugging Face 解析 ReAct 智能体并评测开源 LLM 表现
Hugging Face 发布博客介绍 ReAct 智能体的工作原理，展示如何用 LangChain 的 ChatHuggingFace 类构建智能体，并评测多个开源 LLM 作为通用推理智能体的表现。
Hugging Face BlogAI 评分4545 如何搭建你自己的 Hugging Face 排行榜：以 Vectara 幻觉排行榜为例
Vectara 基于 Hugging Face 开源的 leaderboard template 上线了 HHEM 幻觉排行榜，用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 生成文档摘要时的幻觉频率。
Hugging Face BlogAI 评分5252 Hugging Face 深入排查 Open LLM Leaderboard 上 DROP 评分异常并将其下线
Hugging Face 发现 Open LLM Leaderboard 上新增的 DROP 基准中绝大多数模型 f1 分数低于 10，深入排查后决定将 DROP 从榜单移除，等待新版本。
Hugging Face BlogAI 评分3636 用 LoRA 对比 RoBERTa、Llama 2 和 Mistral 在灾难推文分类任务上的表现
Hugging Face 用 LoRA 微调 RoBERTa-large（355M 参数）、Llama-2-7b-hf 和 Mistral-7B-v0.1 三个模型，在 mehdiiraqui/twitter_disaster 数据集上做灾难推文二分类对比。
Hugging Face BlogAI 评分4444 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 测试了 Llama 2 7B、13B、70B 在 Amazon SageMaker 上 60 多种部署配置的延迟与吞吐表现，覆盖 g5.2xlarge、g5.12xlarge、g5.48xlarge、p4d.24xlarge 四种实例与 1、5、10、20 并发请求。