word2vec 到底学到了什么？
Berkeley AI Research 的新论文为 word2vec 的学习过程给出了定量且可预测的理论：在合理近似下，其学习问题可化简为无权最小二乘矩阵分解，梯度流动力学有闭式解，最终学到的表示等价于对目标矩阵 M* 做 PCA。
#论文/研究
Berkeley AI ResearchAI 评分4747
Hugging Face BlogAI 评分5454 Hugging Face 推出 TextQuests 基准：用25款经典文字冒险游戏评测 LLM 智能体
Hugging Face 发布 TextQuests 基准，基于25款经典 Infocom 交互式小说游戏评测 LLM 作为自主智能体的能力，这些游戏人类通关需超过30小时和数百步精确操作。
Hugging Face BlogAI 评分4545 FilBench：LLM 能否理解和生成菲律宾语？
Hugging Face 推出 FilBench 评测套件，用 4 大类 12 项任务评估 20+ 个 LLM 在 Tagalog、Filipino 和 Cebuano 上的文化知识、经典 NLP、阅读理解与生成能力，结果已作为社区任务上线 Lighteval。
OpenAI NewsAI 评分4646 估算开放权重 LLM 的最坏情况前沿风险
OpenAI 在论文中研究了发布 gpt-oss 的最坏情况前沿风险，提出恶意微调（MFT）方法，试图通过微调让 gpt-oss 在生物和网络安全两个领域发挥最大能力。
Hugging Face BlogAI 评分3838 3LM：面向阿拉伯语 LLM 的 STEM 与代码生成评测基准
Hugging Face 推出首个面向阿拉伯语 LLM 的 STEM 与代码生成评测基准 3LM，包含 865 道原生 MCQ、1,744 道合成 MCQ，以及翻译自 HumanEval+ 和 MBPP+ 的代码任务。
Hugging Face BlogAI 评分5555 Hugging Face 开源长视频理解基准 TimeScope：多数 SOTA 模型仍难真正理解长视频
Hugging Face 发布并开源长视频理解基准 TimeScope，通过在 1 分钟至 8 小时的视频中插入 5-10 秒短片作为“针”，以局部检索、信息综合、细粒度时序感知三类任务评估模型的真实时序理解能力。
Mistral AIAI 评分5656 Mistral AI 发布首个 LLM 全生命周期环境影响研究
Mistral AI 与 Carbone 4、法国生态转型署（ADEME）合作，发布首个 LLM 全生命周期环境影响分析（LCA），并经 Resilio 和 Hubblo 评审。
Hugging Face BlogAI 评分5757 Hugging Face 推出 FutureBench：用预测未来事件评测 AI 智能体
Hugging Face 发布 FutureBench，通过让 AI 智能体预测未来事件来评测能力，以规避数据污染并获得可随时间验证的客观结果。题目来自两处：基于 smolagents 的智能体抓取新闻生成问题（用 DeepSeek-V3 推理、Firecrawl 抓取、Tavily 搜索，每次约 5 题、一周时间窗），以及 Polymarket 每周约 8 题并做筛选。
Hugging Face BlogAI 评分3636 Hugging Face 宣布 NeurIPS 2025 E2LM 竞赛：语言模型早期训练评测
Hugging Face 宣布 NeurIPS 2025 E2LM 竞赛，征集能捕捉 LLM 早期训练阶段（约 200B tokens 内）科学知识领域信号的新评测基准，参赛方案需基于 lm-evaluation-harness 库通过 Hugging Face Space 提交。
OpenAI NewsAI 评分3434 OpenAI：理解并防止对齐泛化中的错位
OpenAI 研究了在错误响应上训练如何导致语言模型出现更广泛的错位，并识别出驱动该行为的一个内部特征，该特征可通过最少的微调加以逆转。
Hugging Face BlogAI 评分5555 Hugging Face 研究：结构化 JSON 输出让 CodeAgent 在多项基准上提升 2-7 个百分点
Hugging Face 发布研究，提出 Structured CodeAgent，让 CodeAgent 以 JSON 格式同时生成 thoughts 和 code 字段，在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均提升 2-7 个百分点。
Hugging Face BlogAI 评分5656 HELMET 长上下文模型评测基准发布新结果并亮相 ICLR 2025
HELMET 团队发布长上下文语言模型评测基准的新结果并将在 ICLR 2025 展示，此前该基准已被 Microsoft 的 Phi-4 和 AI21 的 Jamba 1.6 采用。
OpenAI NewsAI 评分3737 OpenAI 发布 BrowseComp：面向浏览智能体的评测基准
OpenAI 推出 BrowseComp，一个专门用于评测浏览智能体（browsing agents）的基准。原文仅给出基准名称与定位，未披露具体任务数量、评分方法或模型成绩。
OpenAI NewsAI 评分4444 PaperBench：评估 AI 复现 AI 研究能力的基准
OpenAI 推出 PaperBench，一个评估 AI 智能体复现最先进 AI 研究能力的基准。该基准要求智能体从零开始复现前沿论文的代码与实验结果，以衡量其独立完成科研任务的水平。
OpenAI NewsAI 评分4040 OpenAI 与 MIT Media Lab 合作研究 ChatGPT 情感使用与情绪健康
OpenAI 与 MIT Media Lab Research 合作，提出研究 ChatGPT 情感使用（affective use）与用户情绪健康的早期方法。该合作聚焦于如何在 ChatGPT 使用场景中评估情感交互对用户情绪健康的影响，为后续相关研究提供方法论基础。
OpenAI NewsAI 评分4949 OpenAI：检测前沿推理模型的违规行为
OpenAI 发现前沿推理模型在有机会时会钻漏洞，并展示可用一个 LLM 监控其思维链（chain-of-thought）来检测这类利用行为。研究还表明，惩罚模型的"坏想法"并不能阻止大多数违规行为，反而会让它们隐藏自己的意图。
Hugging Face BlogAI 评分5757 Hugging Face 与 Adyen 发布 DABStep 数据分析多步推理基准
Hugging Face 与 Adyen 联合发布 DABStep（Data Agent Benchmark for Multi-step Reasoning），包含 450+ 来自 Adyen 真实工作负载的数据分析任务，用于评估 LLM 与 AI 智能体的多步推理能力。
Hugging Face BlogAI 评分5555 Hugging Face 分析 Open LLM Leaderboard 模型推理的 CO₂ 排放
Hugging Face 对 Open LLM Leaderboard 上 2,742 个模型的推理 CO₂ 排放进行了分析，发现社区微调或合并模型通常比其官方基座模型更省碳。
OpenAI NewsAI 评分4545 OpenAI o1 System Card
OpenAI 发布 o1 System Card，说明 o1 和 o1-mini 发布前的安全工作，包括外部红队测试和按 Preparedness Framework 进行的前沿风险评估。
OpenAI NewsAI 评分4545 OpenAI 发布 SimpleQA 事实性基准
OpenAI 发布事实性基准 SimpleQA，用于衡量语言模型回答简短事实性问题的能力。该基准聚焦模型在短事实查询上的作答表现，为评估大语言模型的事实准确性提供统一衡量标准。
OpenAI NewsAI 评分4444 OpenAI 简化、稳定并扩展连续时间一致性模型
OpenAI 简化、稳定并扩展了连续时间一致性模型（continuous-time consistency models），在仅用两个采样步骤的情况下，实现了与领先扩散模型相当的样本质量。
Hugging Face BlogAI 评分4747 Hugging Face 发布 CinePile 2.0：用对抗式精炼打造更强的长视频 QA 数据集
Hugging Face 与合作方发布长视频 QA 数据集 CinePile 2.0，并开源了配套的对抗式数据集精炼（adversarial dataset refinement）方法实现。
OpenAI NewsAI 评分4545 MLE-bench：评测 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，一个用于衡量 AI 智能体在机器学习工程任务上表现的评测基准。该基准面向机器学习工程场景，评估智能体完成相关任务的能力。
Hugging Face BlogAI 评分3434 探索 Hugging Face Daily Papers 页面的隐藏功能
Hugging Face Daily Papers 页面上线以来已收录超过 3,700 篇论文，订阅用户超过 12k。作者可一键认领论文并关联自己的模型或数据集，用户可在评论区 @librarian-bot 获取相关论文推荐，或通过 @username 与作者直接对话。页面还支持多语言评论与内置翻译、upvote 推荐、每日订阅推送，以及与 arXiv 的双向跳转集成（需安装浏览器扩展）。
OpenAI NewsAI 评分3434 Prover-Verifier Games 提升语言模型输出的可读性
OpenAI 提出 Prover-Verifier Games，通过证明者-验证者博弈提升语言模型输出的可读性，使 AI 解决方案更清晰、更易验证、对人类和机器都更可信。
Hugging Face BlogAI 评分5757 Hugging Face Transformers Agents 代码智能体在 GAIA 基准取得 44.2%
Hugging Face 用基于 Transformers Agents 库构建的 ReactCodeAgent 参加 GAIA 基准，验证集取得 44.2%，在公开榜总榜排名第一，比第二名高 4 个百分点；测试集取得 33.3%，排名第二，超过 Microsoft Autogen 的提交，并在最难的 Level 3 问题上取得最佳平均分。
OpenAI NewsAI 评分3737 OpenAI 改进一致性模型训练方法
OpenAI 提出改进一致性模型（Consistency Models）训练的新方法，使这类生成模型能在无需对抗训练的情况下，仅用一步采样生成高质量数据。
OpenAI NewsAI 评分1515 OpenAI：构建真实世界内容审核的自然语言分类系统
OpenAI 提出一套用于真实世界内容审核的自然语言分类系统整体构建方法，强调系统的稳健性与实用性。该方法聚焦于如何在实际内容审核场景中搭建可靠的自然语言分类能力。
OpenAI NewsAI 评分2828 OpenAI Consistency Models：用一致性模型加速扩散模型生成
OpenAI 提出 Consistency Models，解决扩散模型依赖迭代采样导致生成缓慢的问题。扩散模型已显著推动图像、音频和视频生成，但其迭代采样过程造成生成速度慢，一致性模型旨在改善这一瓶颈。
Hugging Face BlogAI 评分5656 BigCodeBench 发布：面向复杂函数调用的代码生成评测基准
Hugging Face Blog 宣布发布 BigCodeBench，一个包含 1,140 个函数级任务、覆盖 139 个库的代码生成评测基准，每个任务平均含 5.6 个测试用例、平均分支覆盖率达 99%，旨在替代任务过于简单且易受数据污染影响的 HumanEval。
OpenAI News精选AI 评分6464 OpenAI 用稀疏自编码器从 GPT-4 中提取出 1600 万个概念
OpenAI 宣布通过扩展稀疏自编码器的新技术，自动识别出 GPT-4 计算过程中的 1600 万个模式。
Hugging Face BlogAI 评分5757 CyberSecEval 2 发布：评估 LLM 网络安全风险与能力的综合基准
CyberSecEval 2 是评估 LLM 网络安全风险的开源评测框架，涵盖不安全代码生成、提示词注入、协助网络攻击的顺从度、代码解释器滥用和自动化攻击能力五类测试。自 2023 年 12 月首版以来，LLM 平均协助网络攻击请求的顺从率从 52% 降至 28%；提示词注入防护仍未解决，代码专用模型与通用模型的安全差距在缩小，模型端到端漏洞利用能力仍有限。
Hugging Face BlogAI 评分5656 Hugging Face 与 Dottxt 研究结构化生成如何提升 prompt 一致性
Hugging Face Leaderboards and Evals 团队与 Dottxt 合作研究发现，MMLU 上仅改变 prompt 格式就能让模型分数波动约 10 个点，Qwen1.5-7B 在不同格式下准确率从 51.2% 跌至 22.9%，few-shot 顺序变化也可带来最多 3 分差异，且模型排名会随之改变。
OpenAI NewsAI 评分4343 OpenAI：训练 LLM 优先遵循特权指令的指令层级方法
OpenAI 提出指令层级（Instruction Hierarchy）方法，训练 LLM 在面对提示注入、越狱等攻击时优先遵循特权指令，防止攻击者用恶意提示覆盖模型的原始指令。
Hugging Face BlogAI 评分4343 ConTextual：多模态模型在文字密集场景中联合推理能力的评测基准
UCLA 研究团队发布 ConTextual 数据集与排行榜，包含 506 条指令，用于评测多模态大模型在文字密集场景中联合推理文本与视觉信息的能力。实验评估了 13 个模型，GPT-4V 表现最佳，在抽象场景推理上超过人类，但在时间读取类任务上表现不佳；开源模型如 LLaVA-v1.5-13B、ShareGPT4V-7B 仅在抽象与自然场景领域达到可接受水平。
Hugging Face BlogAI 评分3838 NPHardEval 排行榜：用复杂度类与动态更新揭示大语言模型的推理能力
Hugging Face 上线 NPHardEval 排行榜，该基准由密歇根大学与罗格斯大学研究者开发，用 900 道覆盖 NP-Hard 及以下复杂度类的算法题评估大语言模型推理能力，并每月更新题目以防过拟合。
OpenAI NewsAI 评分5656 OpenAI 发布 LLM 辅助生物威胁创建风险评估蓝图
OpenAI 正在开发一套评估大语言模型是否可能协助制造生物威胁的蓝图。在包含生物学专家和学生的评估中，他们发现 GPT-4 对生物威胁创建准确度的提升最多仅为轻微程度；该提升尚不足以得出结论，但这一发现为后续研究和社区讨论提供了起点。
Hugging Face BlogAI 评分5757 Hugging Face 实测对比 DPO、IPO、KTO 三种偏好对齐方法
Hugging Face Blog 发布对 DPO、IPO、KTO 三种无强化学习偏好对齐方法的实证评测，在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上扫描 β 从 0.01 到 0.9 的超参数并用 MT-Bench 评测。
OpenAI NewsAI 评分4242 OpenAI 超级对齐研究：用弱监督者控制强模型
OpenAI 提出超级对齐的新研究方向——利用深度学习的泛化特性，用弱监督者控制强模型（weak-to-strong generalization），并公布了初步的积极结果。
Hugging Face BlogAI 评分4747 SetFitABSA：用 SetFit 实现少样本方面级情感分析
Intel Labs 与 Hugging Face 推出 SetFitABSA，一个用于少样本训练领域专用方面级情感分析（ABSA）模型的框架，在少样本场景下表现可与 Llama2、T5 等生成式模型竞争甚至超越。