Hugging Face 政策主管称嵌入式 AI 评估者不会是简单方案
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式评估者不会是简单方案,评测方法仍不成熟、需要更统一的科学标准。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式评估者不会是简单方案,评测方法仍不成熟、需要更统一的科学标准。
Microsoft Research Podcast 采访了 Microsoft 合作研究经理、Purdue 计算机科学与统计学 Samuel D. Conte 讲席教授 Jennifer Neville,探讨评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。
OpenAI CFO Sarah Friar 提出一套面向 AI 时代的实用记分卡,通过有用工作量、每个成功任务的成本、可靠性以及算力回报四个维度衡量 AI 投资的 ROI。
本期 Import AI 周刊报道 Fable 在 KernelBench-Mega 上提交首个真正的 megakernel,在 RTX PRO 6000 Blackwell 上用 Cuda 代码实现 18.71X 加速。
本期 Import AI 报道英国 AI Security Institute 对齐团队与 Timaeus 研究者成立非营利机构 Sequent,目标两年内达 40-80 名全职员工、初期募资 $100–150M,聚焦可扩展启发式论证等对齐方向。
OpenAI 宣布不再评测 SWE-bench Verified,称该基准日益受到数据污染,无法准确衡量前沿编码能力进展。其分析发现该基准存在测试用例缺陷与训练数据泄漏问题。OpenAI 建议改用 SWE-bench Pro。