Hugging Face 解释目标检测排行榜的评测指标与结果差异来源
Hugging Face 发布目标检测排行榜（Object Detection Leaderboard），并撰文解释其评测方法与常用指标。
#评测/基准
Hugging Face BlogAI 评分5555
Hugging Face Blog精选AI 评分7878 Hugging Face 集成 Code Llama 模型家族
Hugging Face 宣布在自身生态中集成 Meta 的 Code Llama 模型家族，包含 7B、13B、34B 三种参数规模，以及 Python 专精版和指令微调版，采用与 Llama 2 相同的宽松社区许可并可商用。
推荐理由：原文给出模型规格、上下文窗口扩展方法和多语言榜单成绩，便于评估其在代码任务上的定位。
Hugging Face Blog精选AI 评分6363 Hugging Face 解释 Open LLM Leaderboard 上 MMLU 分数差异的成因
Hugging Face 博客解释了 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何显著低于 LLaMA 论文报告值。
推荐理由：通过对比三套 MMLU 实现的分数差异，读者能理解评测分数为何不可直接跨库比较。
Hugging Face BlogAI 评分5757 Hugging Face 研究：GPT-4 评测与人类标注的相关性及偏差
Hugging Face 扩展 Open LLM Leaderboard，用 Scale AI 人类标注与 GPT-4 评测对比 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 等开源模型在 327 条指令 prompt 上的表现。
Hugging Face BlogAI 评分4444 用 AWS Inferentia2 加速 Hugging Face Transformers
Hugging Face 与 AWS 合作，将 Hugging Face Transformers 针对 AWS Inferentia2 推理加速器进行优化，通过 optimum-neuron 一行代码即可编译模型，无需切分或修改。
Hugging Face BlogAI 评分4141 Hugging Face 推出 ⚔️ AI vs. AI ⚔️ 多智能体强化学习对战排名系统
Hugging Face 推出开源工具 ⚔️ AI vs. AI ⚔️，通过让强化学习模型在多智能体对战中相互比拼，用 ELO 评分系统给出相对实力排名。该系统由 Spaces 上的匹配算法、存储比赛结果的 Dataset 和展示 ELO 的 Leaderboard 组成，新模型起始分为 1200。
Hugging Face BlogAI 评分4444 Habana Gaudi2 与 Nvidia A100 80GB 训练与推理性能对比
Hugging Face 用 🤗 Optimum Habana 对比了 Gaudi2、一代 Gaudi 与 Nvidia A100 80GB 的训练和推理性能，Gaudi2 在两项上均约快 2 倍。
Hugging Face BlogAI 评分4444 用 🤗 Evaluate 评估语言模型偏差
Hugging Face 在 🤗 Evaluate 库中新增偏差度量，支持用 Toxicity、Polarity、Hurtfulness 三个基于提示词的任务评估 GPT-2、BLOOM 等因果语言模型的偏差。
Hugging Face BlogAI 评分5555 Hugging Face 推出文本嵌入基准 MTEB
Hugging Face 推出 MTEB 文本嵌入基准，涵盖 8 类任务、56 个数据集，榜单已汇总超过 2000 条结果，支持最多 112 种语言。
Hugging Face BlogAI 评分5151 Hugging Face 推出 Hub 零样本评测功能，支持最高 660 亿参数模型
Hugging Face 在 Hub 上推出 Evaluation on the Hub 零样本评测功能，由 AutoTrain 驱动，无需写代码即可评测任意因果语言模型，且升级后大模型可免费评测，目前支持最高 66 billion 参数模型。
Hugging Face BlogAI 评分5656 Hugging Face 推出 Evaluation on the Hub 免代码模型评测工具
Hugging Face 发布由 AutoTrain 驱动的 Evaluation on the Hub，让用户无需写代码即可在 Hub 上对任意模型、任意数据集、任意指标进行评测。
OpenAI NewsAI 评分2828 OpenAI：衡量古德哈特定律
OpenAI 探讨了古德哈特定律——"当一个度量成为目标，它就不再是好的度量"——在优化难以或高成本测量的目标时如何应对这一问题。该定律虽源自经济学，但 OpenAI 在确定优化目标时必须直面它。
Hugging Face BlogAI 评分1818 Hugging Face Infinity 案例研究：用现代 CPU 实现毫秒级延迟
Hugging Face Infinity 在 Amazon EC2 C6i（第 3 代 Intel Xeon）上运行 DistilBERT 序列分类任务，相比 cascade-lake 实例延迟与吞吐最高提升 34%，相比 ice-lake 上的 vanilla transformers 最高提升 800%。
OpenAI NewsAI 评分1818 OpenAI 联合举办 Procgen 与 MineRL 两项 NeurIPS 2020 竞赛
OpenAI 将与 AIcrowd、Carnegie Mellon University 和 DeepMind 联合举办两项 NeurIPS 2020 竞赛，分别基于 Procgen Benchmark 和 MineRL。
OpenAI NewsAI 评分4141 OpenAI 发布 Procgen Benchmark
OpenAI 发布 Procgen Benchmark，包含 16 个简单易用的程序化生成环境，可直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI NewsAI 评分3838 OpenAI Five 决赛
OpenAI 将于 4 月 13 日 11:30am PT 举办 OpenAI Five 的最后一场现场比赛。这是 OpenAI Five 系列的收官赛事。
OpenAI NewsAI 评分4646 OpenAI 开源强化学习泛化训练环境 CoinRun
OpenAI 发布强化学习训练环境 CoinRun，为智能体将经验迁移到新情境的能力提供量化指标，并已帮助澄清强化学习领域一个长期存在的谜题。CoinRun 的复杂度低于 Sonic the Hedgehog 等传统平台跳跃游戏，但仍对前沿算法构成泛化挑战。
OpenAI NewsAI 评分4949 OpenAI Five 在 The International 2018 的比赛结果
OpenAI Five 在温哥华 The International 2018 上与顶尖 Dota 2 选手对战两场均告负，但两场比赛的前 20–35 分钟都保持着良好的获胜机会。
OpenAI NewsAI 评分5151 OpenAI Five 在 Dota 2 表演赛中三局两胜击败 99.95 分位人类选手队
OpenAI 宣布 OpenAI Five 在一场三局两胜的比赛中击败了由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的 Dota 选手队，这五人处于 99.95 分位水平，其中四人曾是职业选手。比赛在现场观众和 100,000 名并发直播观众面前进行。
OpenAI NewsAI 评分3030 OpenAI Five Benchmark 对战结束
OpenAI Five 的 Benchmark 对战已经结束。原文仅宣布了这一结果，未披露对战的具体比分、对手或后续安排。
OpenAI NewsAI 评分4444 OpenAI 用单次人类演示在 Montezuma's Revenge 中取得 74,500 分
OpenAI 训练的智能体仅凭一次人类演示就在 Montezuma's Revenge 中取得 74,500 分的高分，超过此前任何已发表结果。该算法让智能体从演示中精心挑选的状态开始玩游戏序列，并通过 PPO 优化游戏分数进行学习，PPO 正是支撑 OpenAI Five 的强化学习算法。
OpenAI NewsAI 评分1515 OpenAI Retro Contest 结果公布
OpenAI 首届 Retro Contest 已结束，该赛事探索能从既往经验中泛化的算法开发。比赛结果现已公布。
OpenAI NewsAI 评分1818 OpenAI Retro Contest 迁移学习竞赛
OpenAI 推出 Retro Contest 迁移学习竞赛，用于衡量强化学习算法从过往经验中泛化的能力。
OpenAI NewsAI 评分5050 OpenAI 发布 Universe 平台，用游戏和网站衡量与训练通用智能
OpenAI 发布 Universe，一个用于衡量和训练 AI 通用智能的软件平台，其训练与评测素材覆盖全球的游戏、网站和其他应用程序。