Elith 与 NVIDIA 开源金融日语合成数据集 Nemotron-Personas-Finance-Japan
Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan,这是开源人物数据集 Nemotron-Personas-Japan 的金融领域扩展,采用 CC BY 4.0 许可,可商用。
Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan,这是开源人物数据集 Nemotron-Personas-Japan 的金融领域扩展,采用 CC BY 4.0 许可,可商用。
Vals AI 发布 Vals CyberOffense 基准,让 AI 智能体在隔离的 Kali Linux 机器上从一个公开网址起步、零人工协助地攻击模拟企业网络,所有操作外部记录并自动评分。
Hugging Face 与 Liva AI 合作,为 Open ASR Leaderboard 新增埃及和尼日利亚英语两个私有测试集,时长分别为 1.34 小时和 1.55 小时,均为带标点、区分大小写并保留不流畅片段的自发对话转写。
Google Research 提出 Agile Deliberation 框架,把主观 AI 分类器的构建变成人与 AI 的迭代对话,帮助用户在协作中厘清自身定义,代码与算法已在 GitHub 开源。该框架分概念界定与概念迭代两阶段,用视觉语言模型挖掘语义边界图像,经 18 场、每场 1.5 小时的真人实验验证,显著降低用户疲劳与焦虑,产出更一致、性能优于标准基线的模型。
Hugging Face Blog 发布 IBM Research 的 Palette:微调一个 20B 开源权重模型,用合成数据学习 IBM Design Language 并通过校验 harness 生成幻灯片,在 PresentBench 三个领域中两个排名第一、三领域均分第二(59.7 分,落后 NotebookLM 的 60.8 分 1.1 分)。
推荐理由:原文拆解了用合成数据与校验器训练小模型复现设计语言的完整方法,可迁移到其他输出可被代码校验的任务。
Epoch AI 研究显示,开源模型 GLM 5.3 在无人工输入的情况下,利用补丁公开与送达之间的窗口期,对 9 月 17 日至 10 月 26 日发布的 6 个 Firefox 版本构建了完整漏洞利用链,每次成功攻击的 API 费用约 $1,000,最快一次耗时 12 小时。
推荐理由:研究量化了补丁公开到送达之间的窗口期风险,读者可据此理解开源软件更新节奏的安全代价。
Artificial Analysis 改版 Intelligence Index 后,Kimi K3.1 Pro 从第四名跌至第九名,落后于八个闭源模型,开源模型与榜首的差距从 3 分扩大到 12 分,Grok 4.7 也掉了 12 分。
Google Research 在 IDWeek 2026 分享其结核病(TB)筛查 AI 从研究走向临床的全过程:2019 年在 Radiology 发表基准证明深度学习可匹敌资深放射科医生。
推荐理由:原文梳理了从算法研究到临床落地的完整路径,读者可了解医学 AI 走出论文、跨越转化鸿沟的具体环节。
NVIDIA 与 IIT Madras 的 AI4Bharat 联合发布 Nemotron-pretraining-Indic-v1,覆盖印度宪法所列 22 种语言、约 2.8 trillion tokens 的合成预训练语料,并同步开源用于生成该语料的 GPU 加速数据流水线。
Microsoft Research 发布零知识虚拟机 Magnetar,可证明 Rust、Go 或 C 编写并按 RISC-V 架构编译的程序执行,在笔记本上每秒证明 7.2 至 8.7 million 条处理器指令,在 15 个基准程序上平均比现有最快 zkVM 快 10 至 39 倍,证明验证约 12 毫秒。
推荐理由:原文梳理了零知识证明普及的三大障碍及 Magnetar 分别如何应对,便于读者判断其技术路线取舍。
Import AI 476 本期涵盖多个主题:Elorian 与 Scale AI 发布 Humanity's Sixth Sense 视觉推理基准,人类 pass@1 达 93.1。
Microsoft 与 Hugging Face 联合发布 ThinkingBox 沙箱与 ThinkingBox-Bench 基准,按智能体留下的后端终态与副作用而非其自述来打分,覆盖 507 个有状态业务工作流,每个任务独立运行 20 次。
推荐理由:文章用可执行的状态检查揭示工具调用正确不等于结果正确,并给出可复现的评测环境与复现步骤。
Hugging Face 发布研究,提出三种测试来量化语音识别中的基准优化(benchmaxxing)现象,并评测了 11 个广泛使用的开源 ASR 模型。
推荐理由:研究给出三种可量化探测方法与具体数据,读者可据此理解公开语音基准分数虚高的机制并改进自己的评测选择。
Hugging Face Blog 发文介绍 ALTK-Evolve 在 AppWorld 585 个多步任务、八个模型上的评测,结论是 Agent 记忆不是开关而是需按模型校准的剂量:有余量的强模型适合注入完整指南集,弱模型适合紧凑核心加按任务检索,饱和模型无可测增益。
Multiverse Computing 发布论文 Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss,提出两项系统改动:一次性缓存教师 top-100 logits 使教师无需驻留显存,以及不生成完整词表×序列矩阵的分块 KL 损失。
IBM Research 基于 UC Berkeley Sky Lab 的 K-Search 框架构建 MLX 后端,通过结构化 CUDA-to-MLX 翻译层把现有 CUDA 内核知识迁移到 Apple Silicon。
推荐理由:读者可了解 CUDA 内核优化经验如何被结构化迁移到 Apple Silicon,以及翻译层对性能提升的具体贡献。
IBM Research 推出开源基准 ScarfBench,用于评测 AI 智能体在 Enterprise Java 跨框架迁移任务上的表现,覆盖 Spring、Jakarta EE、Quarkus 三大生态,包含 34 个应用、204 个迁移任务、约 151K 行代码和 1331 个专家编写的测试。
Hugging Face Blog 发布 EcomRLVE-GYM,把 RLVE 框架从单轮推理题扩展到多轮、带工具的电商对话场景,提供商品发现、缺货替代、加购、退货、订单追踪、政策问答、组合规划、多意图旅程共 8 个可算法验证的环境,每个环境含程序化题目生成、12 轴难度课程与可验证奖励。
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道,截至 21 Nov 2025 已对比来自 18 个机构的 60+ 开源与闭源模型、覆盖 11 个数据集,并配有一篇预印本总结趋势。
Hugging Face 发布检索嵌入基准 RTEB 的测试版,用于评估 embedding 模型在真实应用中的检索准确度。它采用公开与私有数据集混合策略,公开部分可复现,私有部分由 MTEB 维护者评测以保证公正,模型若在两者间表现落差明显即提示过拟合。
Hugging Face 发布智能体评测基准 Gaia2 及配套开源框架 Meta Agents Research Environments(ARE),Gaia2 数据集以 CC by 4.0 许可发布,ARE 以 MIT 许可发布。
推荐理由:原文给出了评测维度与各模型的强弱分布,读者可据此判断当前智能体能力的真实短板所在。
OpenAI 在论文中研究了发布 gpt-oss 的最坏情况前沿风险,提出恶意微调(MFT)方法,试图通过微调让 gpt-oss 在生物和网络安全两个领域发挥最大能力。
Hugging Face 发布并开源长视频理解基准 TimeScope,通过在 1 分钟至 8 小时的视频中插入 5-10 秒短片作为“针”,以局部检索、信息综合、细粒度时序感知三类任务评估模型的真实时序理解能力。
Hugging Face 的 Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 512 张 H100 本地跑 DeepSeek R1 生成 800k 条推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 判分过滤后保留 220k 道题的正确轨迹。
推荐理由:原文公开了数据生成与过滤的完整流水线和训练对照结果,读者可据此复现或迁移到其他领域。
Hugging Face 推出 BenCzechMark,这是首个全面评估大语言模型(LLM)捷克语能力的评测套件,包含 9 大类共 50 项任务,其中 90% 为原生非翻译内容。
Hugging Face 介绍新方法 DeDLOC,让志愿者通过互联网协作预训练语言模型,并用 40 名志愿者训练出孟加拉语模型 sahajBERT。