Hugging Face 复现 OpenAI RLHF 代码库并梳理 PPO 实现细节
Hugging Face 发布博客，复现 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在 sentiment 和 descriptiveness 等风格任务上得到与原版几乎一致的学习曲线，并整理出一份实现细节清单。
#论文/研究
Hugging Face BlogAI 评分5757
Hugging Face BlogAI 评分5757 Hugging Face 研究：GPT-4 评测与人类标注的相关性及偏差
Hugging Face 扩展 Open LLM Leaderboard，用 Scale AI 人类标注与 GPT-4 评测对比 Koala 13b、Vicuna 13b、OpenAssistant 12b、Dolly 12b 等开源模型在 327 条指令 prompt 上的表现。
OpenAI News精选AI 评分6666 OpenAI 用过程监督提升数学推理并取得新 SOTA
OpenAI 训练的模型通过奖励每一步正确的推理过程（过程监督）而非仅奖励最终答案（结果监督），在数学问题求解上取得新的 SOTA。原文指出过程监督除提升性能外，还能直接训练模型产出经人类认可的 chain-of-thought，带来对齐层面的收益。
推荐理由：原文对比了过程监督与结果监督的差异，读者可据此理解奖励每一步推理对性能和对齐的双重作用。
OpenAI NewsAI 评分5151 OpenAI 用 GPT-4 解释 GPT-2 神经元并开源数据集
OpenAI 用 GPT-4 自动为大语言模型中的神经元行为撰写解释并打分，并发布了 GPT-2 中每个神经元的解释与评分数据集（作者自述这些解释并不完美）。
OpenAI NewsAI 评分5252 OpenAI 发布 GPTs are GPTs：大语言模型对劳动力市场影响的早期观察
OpenAI 发布题为 GPTs are GPTs 的研究，早期观察大语言模型对劳动力市场的潜在影响。材料抓取失败，仅标题可用，正文内容缺失。
OpenAI NewsAI 评分4444 OpenAI 预测大语言模型被滥用于虚假信息活动的潜在风险及缓解框架
OpenAI 与 Georgetown University 的 Center for Security and Emerging Technology、Stanford Internet Observatory 合作，发布报告预测大语言模型被滥用于虚假信息活动的潜在风险，并提出分析缓解措施的框架。
Hugging Face BlogAI 评分4444 TAPEX：用合成 SQL 执行数据做表格预训练的介绍
TAPEX 通过在合成语料上学习神经 SQL 执行器来完成表格预训练，无需真实数据，在 WikiSQL、WikiTableQuestions、SQA、TabFact 四个 benchmark 上全部刷新 SOTA。
OpenAI NewsAI 评分5353 OpenAI 发布论文：基于 CLIP latents 的层级式文本条件图像生成研究
OpenAI 发布论文《Hierarchical text-conditional image generation with CLIP latents》，研究基于 CLIP latents 的层级式文本条件图像生成方法。抓取失败，仅标题可用，正文细节缺失。
OpenAI NewsAI 评分2828 OpenAI：衡量古德哈特定律
OpenAI 探讨了古德哈特定律——"当一个度量成为目标，它就不再是好的度量"——在优化难以或高成本测量的目标时如何应对这一问题。该定律虽源自经济学，但 OpenAI 在确定优化目标时必须直面它。
OpenAI NewsAI 评分4444 OpenAI 用 Lean 神经定理证明器求解部分国际数学奥林匹克难题
OpenAI 构建了一个面向 Lean 的神经定理证明器，学会了求解多道有挑战性的高中数学竞赛题，涵盖 AMC12、AIME 竞赛题目，以及两道改编自 IMO 的题目。
Hugging Face BlogAI 评分4444 用 1B 训练对训练句子嵌入模型
Hugging Face 在 JAX/Flax 社区周期间，用 7 台 TPU v3-8 和多达 10 亿句对的语料训练出 SOTA 句子嵌入模型。训练采用 Multiple Negative Ranking Loss 对比学习，通过增大 batch size、加入 hard negatives 和跨数据集组 batch 提升质量，相似度缩放因子 C=20。
OpenAI NewsAI 评分5151 OpenAI 用人类反馈总结书籍的研究
OpenAI 发布研究 Summarizing books with human feedback，探讨如何为难以评估的任务扩展对 AI 系统的人类监督。
Hugging Face BlogAI 评分5656 Hugging Face 用 DeDLOC 协作预训练孟加拉语模型 sahajBERT
Hugging Face 介绍新方法 DeDLOC，让志愿者通过互联网协作预训练语言模型，并用 40 名志愿者训练出孟加拉语模型 sahajBERT。
OpenAI NewsAI 评分4141 OpenAI：通过在精选数据集上微调改进语言模型行为
OpenAI 研究发现，在一个小型精选数据集上微调，可以改进语言模型在特定行为价值观上的表现。该方法只需少量精选数据即可实现对模型行为的定向调整。
Hugging Face BlogAI 评分3838 Hugging Face Reads, 2021 年 2 月 - 长程 Transformer
Hugging Face 读书会 2021 年 2 月主题聚焦长程注意力，总结了 Longformer、Compressive Transformer、Linformer、Performer 四篇论文的思路。Longformer 用窗口化/全局注意力把内存开销从 n² 降到 wn+gn，可直接替换标准 self-attention 并复用预训练 checkpoint 微调。
OpenAI NewsAI 评分4545 用人类反馈强化学习训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其摘要能力更强。
OpenAI News精选AI 评分7878 OpenAI 发布论文《Language models are few-shot learners》
OpenAI 发布论文《Language models are few-shot learners》，探讨语言模型的少样本学习能力。抓取失败，仅标题可用，正文内容缺失。
OpenAI NewsAI 评分5454 OpenAI 发布 AI 训练效率分析：ImageNet 训练算力需求每 16 个月减半
OpenAI 发布一项分析显示，自 2012 年以来，训练神经网络达到相同 ImageNet 分类性能所需的算力每 16 个月减少一半；达到 AlexNet 水平如今所需算力仅为 2012 年的 1/44，同期摩尔定律只能带来 11 倍成本改善。作者据此指出，在近期投入较高的 AI 任务上，算法进步带来的收益超过了经典硬件效率提升。
OpenAI News精选AI 评分6767 OpenAI 发布神经语言模型缩放定律研究
OpenAI 发布关于神经语言模型缩放定律（Scaling laws for neural language models）的研究，材料抓取失败，仅标题可用，具体内容未提供。
OpenAI NewsAI 评分4444 Deep double descent：模型性能随规模先降后升的现象
OpenAI 研究发现，CNN、ResNet 和 transformer 中存在 double descent 现象：随着模型规模、数据量或训练时间增加，性能先提升、再变差、随后再次提升。该效应通常可通过细致的正则化规避，但其成因尚未被完全理解，OpenAI 认为进一步研究这一现象是重要的研究方向。
OpenAI NewsAI 评分4141 OpenAI 发布 Procgen Benchmark
OpenAI 发布 Procgen Benchmark，包含 16 个简单易用的程序化生成环境，可直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI NewsAI 评分5555 OpenAI 用人类偏好微调 GPT-2 的研究
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，使其在多项任务上匹配外部标注者的偏好，但这些偏好并不总与 OpenAI 自身一致。摘要任务中，标注者偏好整句照抄输入（OpenAI 只要求他们保证准确性），模型因此学会了复制；该任务耗费 60k 人类标注，而多种风格续写等简单任务只需 5k。
OpenAI News精选AI 评分6161 OpenAI：多智能体捉迷藏游戏中涌现出渐进复杂的工具使用
OpenAI 报告在新的模拟捉迷藏环境中训练智能体，观察到它们在简单游戏中逐步发现愈发复杂的工具使用，累计形成六种不同的策略与反策略，其中部分策略是作者此前不知道环境所支持的。这种简单环境中的自监督涌现复杂性表明，多智能体协同适应有朝一日可能产生极其复杂和智能的行为。
推荐理由：原文以捉迷藏游戏为例说明多智能体对抗如何催生出连作者都未预料的工具使用策略，可帮助理解涌现行为的研究路径。
OpenAI NewsAI 评分3434 OpenAI 提出衡量神经网络分类器对抗未见攻击鲁棒性的新方法
OpenAI 提出一种方法，用于评估神经网络分类器能否可靠防御训练期间未见过的对抗攻击，并由此得到新指标 UAR（Unforeseen Attack Robustness），衡量单一模型对未预期攻击的鲁棒性。该方法还强调需要在更广泛的未见攻击范围内衡量模型表现。
OpenAI NewsAI 评分3131 OpenAI：为什么负责任的 AI 开发需要安全合作
OpenAI 发布政策研究论文，提出四项可立即实施的策略以推动 AI 安全规范的长期行业合作：沟通风险与收益、技术协作、提高透明度和激励标准。OpenAI 指出行业竞争压力可能引发集体行动问题，导致 AI 公司在安全上投入不足，希望这些策略能促进安全开发合作并带来更好的全球成果。
OpenAI NewsAI 评分4141 OpenAI：基于能量模型的隐式生成与泛化方法研究
OpenAI 在能量模型（EBM）的稳定与可扩展训练上取得进展，生成样本的质量和泛化能力优于现有模型。EBM 生成过程会投入更多算力持续优化答案，在低温下可生成与 GAN 竞争的样本，同时具备基于似然模型的模式覆盖保证。OpenAI 希望这些发现能推动对这一模型类别的进一步研究。
OpenAI NewsAI 评分4444 OpenAI 与 Google 研究者合作推出 Activation Atlases 可视化技术
OpenAI 与 Google 研究者合作开发了 Activation Atlases，一种用于可视化神经元之间交互所代表含义的新技术。随着 AI 系统被部署到日益敏感的场景中，更好地理解其内部决策过程有助于识别弱点并调查故障。
OpenAI NewsAI 评分3636 AI 安全需要社会科学家
OpenAI 发布论文，主张长期 AI 安全研究需要社会科学家参与，以确保 AI 对齐算法在真实人类参与时依然有效。论文指出，将先进 AI 系统与人类价值对齐需要解决人类理性、情绪与偏见心理学方面的诸多不确定性，旨在推动机器学习与社会科学界的合作，OpenAI 计划全职招聘社会科学家。
OpenAI NewsAI 评分4444 OpenAI：AI 训练如何扩展
OpenAI 发现梯度噪声尺度这一统计指标可预测神经网络训练在多种任务上的并行化程度。由于复杂任务的梯度噪声更大，未来增大批量大小可能更有用，从而消除 AI 系统进一步增长的一个潜在限制。这些结果表明神经网络训练不必被视为神秘艺术，而可以被严格化和系统化。
OpenAI NewsAI 评分4141 OpenAI 用能量函数学习概念
OpenAI 开发了一个能量模型（energy-based model），仅用 5 个示例即可快速学会识别并生成 near、above、between、closest、furthest 等以 2d 点集表达的概念。该模型还实现了跨领域迁移，能将在 2d 粒子环境中习得的概念用于解决 3 维物理机器人任务。
OpenAI News精选AI 评分6666 OpenAI 用无监督预训练在语言任务上取得 SOTA 结果
OpenAI 宣布用一个可扩展、任务无关的系统在多种语言任务上取得 state-of-the-art 结果，并同步开源该系统。其方法结合了 transformer 与无监督预训练两个已有思路，结果表明监督学习方法搭配无监督预训练效果很好，作者希望这一结果能推动在更大、更多样数据集上开展相关研究。
推荐理由：原文点明了方法组合与可迁移结论，读者可据此理解监督学习配无监督预训练这一思路的价值。
OpenAI News精选AI 评分6161 OpenAI 分析：2012年以来最大AI训练算力呈指数增长
OpenAI 发布分析显示，自2012年以来最大规模AI训练所用算力以3.4个月翻倍的速度指数增长，同期累计增长超过300,000倍，而摩尔定律的翻倍周期为2年、同样条件下仅对应7倍增长。文章指出算力提升是AI进步的关键组成部分，若这一趋势延续，需要为远超当前能力的系统做好准备。
推荐理由：给出了算力增长的量化趋势和与摩尔定律的对比，读者可据此理解AI能力扩张的速度背景。
OpenAI NewsAI 评分4444 OpenAI 提出通过辩论实现 AI 安全的方法
OpenAI 提出一种 AI 安全技术，让 AI 智能体就议题相互辩论，由人类评判胜负，以此训练智能体。
OpenAI NewsAI 评分3737 OpenAI 发布可扩展的元学习算法 Reptile
OpenAI 开发了名为 Reptile 的可扩展元学习算法，通过反复采样任务、执行随机梯度下降并将初始参数向该任务学到的最终参数更新来工作。Reptile 是 Shortest Descent 算法在元学习场景下的应用，数学上与 first-order MAML 相似，只需对 SGD 或 Adam 等优化器进行黑盒调用，计算效率与性能相当。
OpenAI NewsAI 评分4545 OpenAI：为防范 AI 恶意使用做好准备
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
OpenAI NewsAI 评分1818 OpenAI：通过自动发现类型实现词义消歧
OpenAI 构建了一套系统，通过让神经网络判断一个词是否属于约 100 个自动发现的“类型”（非互斥类别），来自动确定该词所指的对象，从而实现词义消歧（entity disambiguation）。
OpenAI NewsAI 评分4545 OpenAI 发布 Requests for Research 2.0：七个未解决的研究问题
OpenAI 发布 Requests for Research 2.0，公开其研究过程中出现的七个尚未解决的问题。这批问题来自 OpenAI 自身研究实践，面向研究社区征集解法。
OpenAI NewsAI 评分2323 OpenAI：元学习智能体在模拟机器人摔跤中的应用
OpenAI 展示了在模拟机器人摔跤任务中，元学习智能体能快速击败更强的非元学习智能体，并能适应物理故障。
OpenAI News精选AI 评分6161 OpenAI 发现自博弈让 AI 自主学会体育动作技能
OpenAI 表示自博弈让模拟 AI 无需专门设计环境即可自行发现铲球、躲闪、假动作、踢球、接球和鱼跃扑球等身体技能，并确保环境难度始终适合 AI 提升。结合此前 Dota 2 的自博弈结果，OpenAI 表示对自博弈将成为未来强大 AI 系统核心部分的信心在增加。
推荐理由：原文把 Dota 2 与足球自博弈结果并列，说明自博弈可迁移到不同环境并自动匹配难度。
OpenAI NewsAI 评分5555 OpenAI 与 DeepMind 合作提出从人类偏好中学习的算法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过告诉系统两种候选行为中哪一种更好，来推断人类真正想要的目标，以减少人类手写目标函数的需求，避免因代理目标不准确或复杂目标出错而导致危险行为。