OpenAI 发布 SWE-bench Verified
OpenAI 发布了 SWE-bench 的人工验证子集 SWE-bench Verified，用于更可靠地评估 AI 模型解决真实世界软件问题的能力。
#评测/基准
OpenAI NewsAI 评分4646
Hugging Face BlogAI 评分4545 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测——还需要微调吗？
Hugging Face 用 LAVE（LLM-Assisted VQA Evaluation）指标对 Docmatix 约 200 张测试图做零样本评测，基线模型 MPLUGDocOwl1.5（在 DocVQA 测试子集上 ANLS 84%）的 LAVE 得分为 0.58，而 CIDER、BLEU、ANLS 分别只有 0.1411、0.0032、0.002。
Hugging Face BlogAI 评分5656 BigCodeBench 发布：面向复杂函数调用的代码生成评测基准
Hugging Face Blog 宣布发布 BigCodeBench，一个包含 1,140 个函数级任务、覆盖 139 个库的代码生成评测基准，每个任务平均含 5.6 个测试用例、平均分支覆盖率达 99%，旨在替代任务过于简单且易受数据污染影响的 HumanEval。
Hugging Face BlogAI 评分5757 CyberSecEval 2 发布：评估 LLM 网络安全风险与能力的综合基准
CyberSecEval 2 是评估 LLM 网络安全风险的开源评测框架，涵盖不安全代码生成、提示词注入、协助网络攻击的顺从度、代码解释器滥用和自动化攻击能力五类测试。自 2023 年 12 月首版以来，LLM 平均协助网络攻击请求的顺从率从 52% 降至 28%；提示词注入防护仍未解决，代码专用模型与通用模型的安全差距在缩小，模型端到端漏洞利用能力仍有限。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open Arabic LLM Leaderboard（OALL）阿拉伯语大语言模型排行榜
Hugging Face 推出 Open Arabic LLM Leaderboard（OALL），专门用于评估和比较阿拉伯语大语言模型，服务全球超过 3.8 亿阿拉伯语使用者。
Hugging Face BlogAI 评分2929 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 推出首个专门评估希伯来语大语言模型的开放排行榜，包含 Hebrew Question Answering、Sentiment Accuracy、Winograd Schema Challenge、Translation 四项基准，均采用 few-shot prompt 格式。
Hugging Face BlogAI 评分5555 Artificial Analysis LLM 性能榜单上线 Hugging Face
Artificial Analysis 的 LLM Performance Leaderboard 上线 Hugging Face，覆盖超过 100 个 serverless LLM API 端点，把质量、价格、速度（延迟与吞吐）三项指标汇总到一处供工程师选型。
Hugging Face BlogAI 评分5656 Hugging Face 与 Dottxt 研究结构化生成如何提升 prompt 一致性
Hugging Face Leaderboards and Evals 团队与 Dottxt 合作研究发现，MMLU 上仅改变 prompt 格式就能让模型分数波动约 10 个点，Qwen1.5-7B 在不同格式下准确率从 51.2% 跌至 22.9%，few-shot 顺序变化也可带来最多 3 分差异，且模型排名会随之改变。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Open CoT Leaderboard：衡量 LLM 的思维链增益
Hugging Face 推出 Open CoT Leaderboard，通过对比模型在有无思维链（CoT）提示下的准确率差值（accuracy gain Δ），衡量 LLM 生成有效推理轨迹的能力，而非绝对准确率。该榜单使用 LogiQA、LSAT 等逻辑推理任务，已实现 Classic 和 Reflect 两种提示策略，旨在更稳健地评估模型推理能力并规避训练数据污染问题。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Open Medical-LLM Leaderboard 医疗大模型评测榜
Hugging Face 与 Open Life Science AI 推出 Open Medical-LLM Leaderboard，用 MedQA、MedMCQA、PubMedQA 及 MMLU 医学与生物学子集等数据集，以准确率为主要指标对比各模型的医疗问答能力。
Hugging Face BlogAI 评分5757 Hugging Face 推出 LiveCodeBench 代码模型排行榜
Hugging Face 推出基于 LiveCodeBench 的代码 LLM 排行榜，该基准由 UC Berkeley、MIT 和 Cornell 研究者开发，题目取自 LeetCode、AtCoder 和 CodeForces 并标注发布时间，可按时间窗口评测以检测和防止数据污染。
Hugging Face BlogAI 评分4545 Hugging Face 与 Lighthouz AI 推出 Chatbot Guardrails Arena：盲测 LLM 隐私护栏
Lighthouz AI 与 Hugging Face 联合推出 Chatbot Guardrails Arena，让用户与两个匿名 LLM 对话，尝试套取虚构银行 XYZ001 的客户敏感财务信息，再投票选出隐私保护更好的一方。
Hugging Face BlogAI 评分4343 ConTextual：多模态模型在文字密集场景中联合推理能力的评测基准
UCLA 研究团队发布 ConTextual 数据集与排行榜，包含 506 条指令，用于评测多模态大模型在文字密集场景中联合推理文本与视觉信息的能力。实验评估了 13 个模型，GPT-4V 表现最佳，在抽象场景推理上超过人类，但在时间读取类任务上表现不佳；开源模型如 LLaVA-v1.5-13B、ShareGPT4V-7B 仅在抽象与自然场景领域达到可接受水平。
Hugging Face BlogAI 评分4747 Hugging Face 推出 TTS Arena：众包评测文本转语音模型
Hugging Face 推出 TTS Arena，一个让用户提交文本、盲听两个 TTS 模型合成语音并投票的众包评测平台，结果将汇总为排行榜。该平台采用类似 LMSys Chatbot Arena 的 Elo 评分系统，投票前不显示模型名以防偏见。首发模型包括 ElevenLabs、MetaVoice、OpenVoice、Pheme、WhisperSpeech 和 XTTS，涵盖开源与闭源。
Mistral AI精选AI 评分7878 Mistral AI 发布旗舰模型 Mistral Large 与低延迟模型 Mistral Small
Mistral AI 发布旗舰语言模型 Mistral Large，称其为通过 API 普遍可用的全球第二强模型（仅次于 GPT-4），具备 32K tokens 上下文窗口、五种语言原生流利、原生 function calling 与精确指令遵循能力。
推荐理由：原文给出基准对比与三种接入方式，读者可据此评估其相对 GPT-4 的定位和部署选择。
Hugging Face BlogAI 评分4747 Hugging Face 推出 Red-Teaming Resistance Leaderboard：用人类越狱提示词测试前沿模型的抗红队能力
Haize Labs 在 Hugging Face 团队支持下推出 Red Teaming Resistance Benchmark，用 AdvBench、Beavertails、Do Not Answer 等多个红队数据集中的高质量人类越狱提示词，系统测试前沿 LLM 在极端红队攻击下的鲁棒性。
Hugging Face BlogAI 评分4747 Hugging Face 推出 Open Ko-LLM Leaderboard：引领韩语 LLM 评测生态
Upstage 于 2023 年 9 月发起 Open Ko-LLM Leaderboard，构建韩语 LLM 评测生态，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA、Ko-CommonGEN V2 五项评测任务，并以私有测试集防止数据污染。
Hugging Face BlogAI 评分3838 NPHardEval 排行榜：用复杂度类与动态更新揭示大语言模型的推理能力
Hugging Face 上线 NPHardEval 排行榜，该基准由密歇根大学与罗格斯大学研究者开发，用 900 道覆盖 NP-Hard 及以下复杂度类的算法题评估大语言模型推理能力，并每月更新题目以防过拟合。
Hugging Face BlogAI 评分4444 Patronus 推出 Enterprise Scenarios Leaderboard：面向真实企业场景的 LLM 排行榜
Patronus 团队联合 Hugging Face 推出 Enterprise Scenarios Leaderboard，基于 Hugging Face Leaderboard Template 构建。
Hugging Face BlogAI 评分4545 Hugging Face 推出 Hallucinations Leaderboard，开源评测大语言模型幻觉
Hugging Face 推出 Hallucinations Leaderboard，一个通过 in-context learning 评测大语言模型幻觉的开放持续项目，已发布 arXiv 论文。
Hugging Face BlogAI 评分4747 Hugging Face 推出 LLM Safety Leaderboard：基于 DecodingTrust 的大模型安全评测榜单
Hugging Face 联合 Secure Learning Lab 发布 LLM Safety Leaderboard，基于 2023 年获 NeurIPS 2023 杰出论文奖的 DecodingTrust 平台，使用 HF leaderboard 模板对大模型进行安全评测。
Hugging Face BlogAI 评分5555 Hugging Face 解析 ReAct 智能体并评测开源 LLM 表现
Hugging Face 发布博客介绍 ReAct 智能体的工作原理，展示如何用 LangChain 的 ChatHuggingFace 类构建智能体，并评测多个开源 LLM 作为通用推理智能体的表现。
Hugging Face BlogAI 评分4545 如何搭建你自己的 Hugging Face 排行榜：以 Vectara 幻觉排行榜为例
Vectara 基于 Hugging Face 开源的 leaderboard template 上线了 HHEM 幻觉排行榜，用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 生成文档摘要时的幻觉频率。
Hugging Face BlogAI 评分5252 Hugging Face 深入排查 Open LLM Leaderboard 上 DROP 评分异常并将其下线
Hugging Face 发现 Open LLM Leaderboard 上新增的 DROP 基准中绝大多数模型 f1 分数低于 10，深入排查后决定将 DROP 从榜单移除，等待新版本。
Hugging Face BlogAI 评分3636 用 LoRA 对比 RoBERTa、Llama 2 和 Mistral 在灾难推文分类任务上的表现
Hugging Face 用 LoRA 微调 RoBERTa-large（355M 参数）、Llama-2-7b-hf 和 Mistral-7B-v0.1 三个模型，在 mehdiiraqui/twitter_disaster 数据集上做灾难推文二分类对比。
Hugging Face BlogAI 评分4444 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 测试了 Llama 2 7B、13B、70B 在 Amazon SageMaker 上 60 多种部署配置的延迟与吞吐表现，覆盖 g5.2xlarge、g5.12xlarge、g5.48xlarge、p4d.24xlarge 四种实例与 1、5、10、20 并发请求。
Hugging Face BlogAI 评分5555 Hugging Face 解释目标检测排行榜的评测指标与结果差异来源
Hugging Face 发布目标检测排行榜（Object Detection Leaderboard），并撰文解释其评测方法与常用指标。
Hugging Face Blog精选AI 评分7878 Hugging Face 集成 Code Llama 模型家族
Hugging Face 宣布在自身生态中集成 Meta 的 Code Llama 模型家族，包含 7B、13B、34B 三种参数规模，以及 Python 专精版和指令微调版，采用与 Llama 2 相同的宽松社区许可并可商用。
推荐理由：原文给出模型规格、上下文窗口扩展方法和多语言榜单成绩，便于评估其在代码任务上的定位。
Hugging Face Blog精选AI 评分6363 Hugging Face 解释 Open LLM Leaderboard 上 MMLU 分数差异的成因
Hugging Face 博客解释了 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何显著低于 LLaMA 论文报告值。
推荐理由：通过对比三套 MMLU 实现的分数差异，读者能理解评测分数为何不可直接跨库比较。
Hugging Face BlogAI 评分5757 Hugging Face 研究：GPT-4 评测与人类标注的相关性及偏差
Hugging Face 扩展 Open LLM Leaderboard，用 Scale AI 人类标注与 GPT-4 评测对比 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 等开源模型在 327 条指令 prompt 上的表现。
Hugging Face BlogAI 评分4444 用 AWS Inferentia2 加速 Hugging Face Transformers
Hugging Face 与 AWS 合作，将 Hugging Face Transformers 针对 AWS Inferentia2 推理加速器进行优化，通过 optimum-neuron 一行代码即可编译模型，无需切分或修改。
Hugging Face BlogAI 评分4141 Hugging Face 推出 ⚔️ AI vs. AI ⚔️ 多智能体强化学习对战排名系统
Hugging Face 推出开源工具 ⚔️ AI vs. AI ⚔️，通过让强化学习模型在多智能体对战中相互比拼，用 ELO 评分系统给出相对实力排名。该系统由 Spaces 上的匹配算法、存储比赛结果的 Dataset 和展示 ELO 的 Leaderboard 组成，新模型起始分为 1200。
Hugging Face BlogAI 评分4444 Habana Gaudi2 与 Nvidia A100 80GB 训练与推理性能对比
Hugging Face 用 🤗 Optimum Habana 对比了 Gaudi2、一代 Gaudi 与 Nvidia A100 80GB 的训练和推理性能，Gaudi2 在两项上均约快 2 倍。
Hugging Face BlogAI 评分4444 用 🤗 Evaluate 评估语言模型偏差
Hugging Face 在 🤗 Evaluate 库中新增偏差度量，支持用 Toxicity、Polarity、Hurtfulness 三个基于提示词的任务评估 GPT-2、BLOOM 等因果语言模型的偏差。
Hugging Face BlogAI 评分5555 Hugging Face 推出文本嵌入基准 MTEB
Hugging Face 推出 MTEB 文本嵌入基准，涵盖 8 类任务、56 个数据集，榜单已汇总超过 2000 条结果，支持最多 112 种语言。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Hub 零样本评测功能，支持最高 660 亿参数模型
Hugging Face 在 Hub 上推出 Evaluation on the Hub 零样本评测功能，由 AutoTrain 驱动，无需写代码即可评测任意因果语言模型，且升级后大模型可免费评测，目前支持最高 66 billion 参数模型。
Hugging Face BlogAI 评分5656 Hugging Face 推出 Evaluation on the Hub 免代码模型评测工具
Hugging Face 发布由 AutoTrain 驱动的 Evaluation on the Hub，让用户无需写代码即可在 Hub 上对任意模型、任意数据集、任意指标进行评测。
OpenAI NewsAI 评分2828 OpenAI：衡量古德哈特定律
OpenAI 探讨了古德哈特定律——"当一个度量成为目标，它就不再是好的度量"——在优化难以或高成本测量的目标时如何应对这一问题。该定律虽源自经济学，但 OpenAI 在确定优化目标时必须直面它。
Hugging Face BlogAI 评分1818 Hugging Face Infinity 案例研究：用现代 CPU 实现毫秒级延迟
Hugging Face Infinity 在 Amazon EC2 C6i（第 3 代 Intel Xeon）上运行 DistilBERT 序列分类任务，相比 cascade-lake 实例延迟与吞吐最高提升 34%，相比 ice-lake 上的 vanilla transformers 最高提升 800%。
OpenAI NewsAI 评分1818 OpenAI 联合举办 Procgen 与 MineRL 两项 NeurIPS 2020 竞赛
OpenAI 将与 AIcrowd、Carnegie Mellon University 和 DeepMind 联合举办两项 NeurIPS 2020 竞赛，分别基于 Procgen Benchmark 和 MineRL。