OpenAI Consistency Models：用一致性模型加速扩散模型生成
OpenAI 提出 Consistency Models，解决扩散模型依赖迭代采样导致生成缓慢的问题。扩散模型已显著推动图像、音频和视频生成，但其迭代采样过程造成生成速度慢，一致性模型旨在改善这一瓶颈。
#论文/研究
OpenAI NewsAI 评分2828
Hugging Face BlogAI 评分5656 BigCodeBench 发布：面向复杂函数调用的代码生成评测基准
Hugging Face Blog 宣布发布 BigCodeBench，一个包含 1,140 个函数级任务、覆盖 139 个库的代码生成评测基准，每个任务平均含 5.6 个测试用例、平均分支覆盖率达 99%，旨在替代任务过于简单且易受数据污染影响的 HumanEval。
OpenAI News精选AI 评分6464 OpenAI 用稀疏自编码器从 GPT-4 中提取出 1600 万个概念
OpenAI 宣布通过扩展稀疏自编码器的新技术，自动识别出 GPT-4 计算过程中的 1600 万个模式。
Hugging Face BlogAI 评分5757 CyberSecEval 2 发布：评估 LLM 网络安全风险与能力的综合基准
CyberSecEval 2 是评估 LLM 网络安全风险的开源评测框架，涵盖不安全代码生成、提示词注入、协助网络攻击的顺从度、代码解释器滥用和自动化攻击能力五类测试。自 2023 年 12 月首版以来，LLM 平均协助网络攻击请求的顺从率从 52% 降至 28%；提示词注入防护仍未解决，代码专用模型与通用模型的安全差距在缩小，模型端到端漏洞利用能力仍有限。
Hugging Face BlogAI 评分5656 Hugging Face 与 Dottxt 研究结构化生成如何提升 prompt 一致性
Hugging Face Leaderboards and Evals 团队与 Dottxt 合作研究发现，MMLU 上仅改变 prompt 格式就能让模型分数波动约 10 个点，Qwen1.5-7B 在不同格式下准确率从 51.2% 跌至 22.9%，few-shot 顺序变化也可带来最多 3 分差异，且模型排名会随之改变。
OpenAI NewsAI 评分4343 OpenAI：训练 LLM 优先遵循特权指令的指令层级方法
OpenAI 提出指令层级（Instruction Hierarchy）方法，训练 LLM 在面对提示注入、越狱等攻击时优先遵循特权指令，防止攻击者用恶意提示覆盖模型的原始指令。
Hugging Face BlogAI 评分4343 ConTextual：多模态模型在文字密集场景中联合推理能力的评测基准
UCLA 研究团队发布 ConTextual 数据集与排行榜，包含 506 条指令，用于评测多模态大模型在文字密集场景中联合推理文本与视觉信息的能力。实验评估了 13 个模型，GPT-4V 表现最佳，在抽象场景推理上超过人类，但在时间读取类任务上表现不佳；开源模型如 LLaVA-v1.5-13B、ShareGPT4V-7B 仅在抽象与自然场景领域达到可接受水平。
Hugging Face BlogAI 评分3838 NPHardEval 排行榜：用复杂度类与动态更新揭示大语言模型的推理能力
Hugging Face 上线 NPHardEval 排行榜，该基准由密歇根大学与罗格斯大学研究者开发，用 900 道覆盖 NP-Hard 及以下复杂度类的算法题评估大语言模型推理能力，并每月更新题目以防过拟合。
OpenAI NewsAI 评分5656 OpenAI 发布 LLM 辅助生物威胁创建风险评估蓝图
OpenAI 正在开发一套评估大语言模型是否可能协助制造生物威胁的蓝图。在包含生物学专家和学生的评估中，他们发现 GPT-4 对生物威胁创建准确度的提升最多仅为轻微程度；该提升尚不足以得出结论，但这一发现为后续研究和社区讨论提供了起点。
Hugging Face BlogAI 评分5757 Hugging Face 实测对比 DPO、IPO、KTO 三种偏好对齐方法
Hugging Face Blog 发布对 DPO、IPO、KTO 三种无强化学习偏好对齐方法的实证评测，在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上扫描 β 从 0.01 到 0.9 的超参数并用 MT-Bench 评测。
OpenAI NewsAI 评分4242 OpenAI 超级对齐研究：用弱监督者控制强模型
OpenAI 提出超级对齐的新研究方向——利用深度学习的泛化特性，用弱监督者控制强模型（weak-to-strong generalization），并公布了初步的积极结果。
Hugging Face BlogAI 评分4747 SetFitABSA：用 SetFit 实现少样本方面级情感分析
Intel Labs 与 Hugging Face 推出 SetFitABSA，一个用于少样本训练领域专用方面级情感分析（ABSA）模型的框架，在少样本场景下表现可与 Llama2、T5 等生成式模型竞争甚至超越。
Hugging Face BlogAI 评分5757 Hugging Face 复现 OpenAI RLHF 代码库并梳理 PPO 实现细节
Hugging Face 发布博客，复现 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在 sentiment 和 descriptiveness 等风格任务上得到与原版几乎一致的学习曲线，并整理出一份实现细节清单。
Hugging Face BlogAI 评分5757 Hugging Face 研究：GPT-4 评测与人类标注的相关性及偏差
Hugging Face 扩展 Open LLM Leaderboard，用 Scale AI 人类标注与 GPT-4 评测对比 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 等开源模型在 327 条指令 prompt 上的表现。
OpenAI News精选AI 评分6666 OpenAI 用过程监督提升数学推理并取得新 SOTA
OpenAI 训练的模型通过奖励每一步正确的推理过程（过程监督）而非仅奖励最终答案（结果监督），在数学问题求解上取得新的 SOTA。原文指出过程监督除提升性能外，还能直接训练模型产出经人类认可的 chain-of-thought，带来对齐层面的收益。
推荐理由：原文对比了过程监督与结果监督的差异，读者可据此理解奖励每一步推理对性能和对齐的双重作用。
OpenAI NewsAI 评分5151 OpenAI 用 GPT-4 解释 GPT-2 神经元并开源数据集
OpenAI 用 GPT-4 自动为大语言模型中的神经元行为撰写解释并打分，并发布了 GPT-2 中每个神经元的解释与评分数据集（作者自述这些解释并不完美）。
OpenAI NewsAI 评分5252 OpenAI 发布 GPTs are GPTs：大语言模型对劳动力市场影响的早期观察
OpenAI 发布题为 GPTs are GPTs 的研究，早期观察大语言模型对劳动力市场的潜在影响。材料抓取失败，仅标题可用，正文内容缺失。
OpenAI NewsAI 评分4444 OpenAI 预测大语言模型被滥用于虚假信息活动的潜在风险及缓解框架
OpenAI 与 Georgetown University 的 Center for Security and Emerging Technology、Stanford Internet Observatory 合作，发布报告预测大语言模型被滥用于虚假信息活动的潜在风险，并提出分析缓解措施的框架。
Hugging Face BlogAI 评分4444 TAPEX：用合成 SQL 执行数据做表格预训练的介绍
TAPEX 通过在合成语料上学习神经 SQL 执行器来完成表格预训练，无需真实数据，在 WikiSQL、WikiTableQuestions、SQA、TabFact 四个 benchmark 上全部刷新 SOTA。
OpenAI NewsAI 评分5353 OpenAI 发布论文：基于 CLIP latents 的层级式文本条件图像生成研究
OpenAI 发布论文《Hierarchical text-conditional image generation with CLIP latents》，研究基于 CLIP latents 的层级式文本条件图像生成方法。抓取失败，仅标题可用，正文细节缺失。
OpenAI NewsAI 评分2828 OpenAI：衡量古德哈特定律
OpenAI 探讨了古德哈特定律——"当一个度量成为目标，它就不再是好的度量"——在优化难以或高成本测量的目标时如何应对这一问题。该定律虽源自经济学，但 OpenAI 在确定优化目标时必须直面它。
OpenAI NewsAI 评分4444 OpenAI 用 Lean 神经定理证明器求解部分国际数学奥林匹克难题
OpenAI 构建了一个面向 Lean 的神经定理证明器，学会了求解多道有挑战性的高中数学竞赛题，涵盖 AMC12、AIME 竞赛题目，以及两道改编自 IMO 的题目。
Hugging Face BlogAI 评分4444 用 1B 训练对训练句子嵌入模型
Hugging Face 在 JAX/Flax 社区周期间，用 7 台 TPU v3-8 和多达 10 亿句对的语料训练出 SOTA 句子嵌入模型。训练采用 Multiple Negative Ranking Loss 对比学习，通过增大 batch size、加入 hard negatives 和跨数据集组 batch 提升质量，相似度缩放因子 C=20。
OpenAI NewsAI 评分5151 OpenAI 用人类反馈总结书籍的研究
OpenAI 发布研究 Summarizing books with human feedback，探讨如何为难以评估的任务扩展对 AI 系统的人类监督。
Hugging Face BlogAI 评分5656 Hugging Face 用 DeDLOC 协作预训练孟加拉语模型 sahajBERT
Hugging Face 介绍新方法 DeDLOC，让志愿者通过互联网协作预训练语言模型，并用 40 名志愿者训练出孟加拉语模型 sahajBERT。
OpenAI NewsAI 评分4141 OpenAI：通过在精选数据集上微调改进语言模型行为
OpenAI 研究发现，在一个小型精选数据集上微调，可以改进语言模型在特定行为价值观上的表现。该方法只需少量精选数据即可实现对模型行为的定向调整。
Hugging Face BlogAI 评分3838 Hugging Face Reads, 2021 年 2 月 - 长程 Transformer
Hugging Face 读书会 2021 年 2 月主题聚焦长程注意力，总结了 Longformer、Compressive Transformer、Linformer、Performer 四篇论文的思路。Longformer 用窗口化/全局注意力把内存开销从 n² 降到 wn+gn，可直接替换标准 self-attention 并复用预训练 checkpoint 微调。
OpenAI NewsAI 评分4545 用人类反馈强化学习训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其摘要能力更强。
OpenAI News精选AI 评分7878 OpenAI 发布论文《Language models are few-shot learners》
OpenAI 发布论文《Language models are few-shot learners》，探讨语言模型的少样本学习能力。抓取失败，仅标题可用，正文内容缺失。
OpenAI NewsAI 评分5454 OpenAI 发布 AI 训练效率分析：ImageNet 训练算力需求每 16 个月减半
OpenAI 发布一项分析显示，自 2012 年以来，训练神经网络达到相同 ImageNet 分类性能所需的算力每 16 个月减少一半；达到 AlexNet 水平如今所需算力仅为 2012 年的 1/44，同期摩尔定律只能带来 11 倍成本改善。作者据此指出，在近期投入较高的 AI 任务上，算法进步带来的收益超过了经典硬件效率提升。
OpenAI News精选AI 评分6767 OpenAI 发布神经语言模型缩放定律研究
OpenAI 发布关于神经语言模型缩放定律（Scaling laws for neural language models）的研究，材料抓取失败，仅标题可用，具体内容未提供。
OpenAI NewsAI 评分4444 Deep double descent：模型性能随规模先降后升的现象
OpenAI 研究发现，CNN、ResNet 和 transformer 中存在 double descent 现象：随着模型规模、数据量或训练时间增加，性能先提升、再变差、随后再次提升。该效应通常可通过细致的正则化规避，但其成因尚未被完全理解，OpenAI 认为进一步研究这一现象是重要的研究方向。
OpenAI NewsAI 评分4141 OpenAI 发布 Procgen Benchmark
OpenAI 发布 Procgen Benchmark，包含 16 个简单易用的程序化生成环境，可直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI NewsAI 评分5555 OpenAI 用人类偏好微调 GPT-2 的研究
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，使其在多项任务上匹配外部标注者的偏好，但这些偏好并不总与 OpenAI 自身一致。摘要任务中，标注者偏好整句照抄输入（OpenAI 只要求他们保证准确性），模型因此学会了复制；该任务耗费 60k 人类标注，而多种风格续写等简单任务只需 5k。
OpenAI News精选AI 评分6161 OpenAI：多智能体捉迷藏游戏中涌现出渐进复杂的工具使用
OpenAI 报告在新的模拟捉迷藏环境中训练智能体，观察到它们在简单游戏中逐步发现愈发复杂的工具使用，累计形成六种不同的策略与反策略，其中部分策略是作者此前不知道环境所支持的。这种简单环境中的自监督涌现复杂性表明，多智能体协同适应有朝一日可能产生极其复杂和智能的行为。
推荐理由：原文以捉迷藏游戏为例说明多智能体对抗如何催生出连作者都未预料的工具使用策略，可帮助理解涌现行为的研究路径。
OpenAI NewsAI 评分3434 OpenAI 提出衡量神经网络分类器对抗未见攻击鲁棒性的新方法
OpenAI 提出一种方法，用于评估神经网络分类器能否可靠防御训练期间未见过的对抗攻击，并由此得到新指标 UAR（Unforeseen Attack Robustness），衡量单一模型对未预期攻击的鲁棒性。该方法还强调需要在更广泛的未见攻击范围内衡量模型表现。
OpenAI NewsAI 评分3131 OpenAI：为什么负责任的 AI 开发需要安全合作
OpenAI 发布政策研究论文，提出四项可立即实施的策略以推动 AI 安全规范的长期行业合作：沟通风险与收益、技术协作、提高透明度和激励标准。OpenAI 指出行业竞争压力可能引发集体行动问题，导致 AI 公司在安全上投入不足，希望这些策略能促进安全开发合作并带来更好的全球成果。
OpenAI NewsAI 评分4141 OpenAI：基于能量模型的隐式生成与泛化方法研究
OpenAI 在能量模型（EBM）的稳定与可扩展训练上取得进展，生成样本的质量和泛化能力优于现有模型。EBM 生成过程会投入更多算力持续优化答案，在低温下可生成与 GAN 竞争的样本，同时具备基于似然模型的模式覆盖保证。OpenAI 希望这些发现能推动对这一模型类别的进一步研究。
OpenAI NewsAI 评分4444 OpenAI 与 Google 研究者合作推出 Activation Atlases 可视化技术
OpenAI 与 Google 研究者合作开发了 Activation Atlases，一种用于可视化神经元之间交互所代表含义的新技术。随着 AI 系统被部署到日益敏感的场景中，更好地理解其内部决策过程有助于识别弱点并调查故障。
OpenAI NewsAI 评分3636 AI 安全需要社会科学家
OpenAI 发布论文，主张长期 AI 安全研究需要社会科学家参与，以确保 AI 对齐算法在真实人类参与时依然有效。论文指出，将先进 AI 系统与人类价值对齐需要解决人类理性、情绪与偏见心理学方面的诸多不确定性，旨在推动机器学习与社会科学界的合作，OpenAI 计划全职招聘社会科学家。