Mistral AI 发布首个 7B 参数模型 Mistral 7B，称其在所有标准英文与代码基准上超过现有 13B 以下开源模型，以 Apache 2.0 许可开放使用。该模型基于三个月工作建成的 MLops 栈与数据处理管线，可做摘要、结构化和问答，生成速度与成本优于大型专有方案；公司同时开放 GitHub 仓库和 Discord 频道，并表示在开发商业产品的同时继续发布开源模型。
推荐理由：原文对比了开放模型与闭源 API 在定制、成本和数据隐私上的差异，读者可据此理解其开源路线的商业与技术理由。
OpenAI 发布 GPT-4V(ision) 系统卡，介绍 GPT-4V 的相关信息。
Hugging Face 发布 Würstchen 扩散模型，其文本条件组件在高度压缩的图像潜在空间中工作，实现 42x 空间压缩，通过 Stage A（VQGAN）、Stage B（Diffusion Autoencoder）与 Stage C（Prior）三阶段设计，训练与推理成本大幅降低。
Hugging Face 官方博客宣布 TII 的 Falcon 180B 加入 HuggingFace 生态，这是当时最大的公开可用语言模型，拥有 180B 参数、在 RefinedWeb 数据集上训练 3.5 trillion tokens，是开源模型中最长的单轮预训练。
推荐理由：文章给出了硬件需求和量化实测，读者可据此评估自己能否跑起这个 180B 模型。
OpenAI 宣布开发者现在可以使用自己的数据对 GPT-3.5 Turbo 进行微调，以适配具体用例，同时发布了相关 API 更新。
Hugging Face 发布开放获取的视觉语言模型 IDEFICS，作为 DeepMind 未公开的 Flamingo 的开放复现，可接受任意图像与文本序列输入并生成文本输出。
推荐理由：原文交代了复现所用的公开数据与模型组件，读者可据此理解开放复现闭源模型的具体路径。
Meta 发布 Llama 2 系列开放大语言模型，Hugging Face 完成生态集成，Hub 上提供 12 个开放模型（3 个基础模型与 3 个微调模型及对应 transformers 版本），采用宽松社区许可并支持商用。
推荐理由：文章给出从推理部署到单卡微调的完整路径，可直接迁移用于自己的 Llama 2 实践。
Hugging Face 与 ServiceNow 联合的 BigCode 项目发布代码大模型 StarCoder 和 StarCoderBase，基于 80+ 编程语言等许可数据训练，约 15B 参数、1 trillion tokens。
推荐理由：原文给出评测数据和提示词技巧，读者可了解开源代码模型的水平及提升分数的具体做法。
OpenAI 发布 GPT-4，称其为该公司扩展深度学习进程中的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在多种专业和学术基准上展现人类水平表现，同时在许多真实场景中仍不及人类。
推荐理由：原文点明了GPT-4的多模态输入能力和基准表现定位，读者可据此理解这一代模型相对前代的关键变化。
OpenAI 发布 GPT-4，官方介绍称它能在创意与技术写作任务上与用户共同生成、编辑和迭代，例如作曲、编写剧本或学习用户的写作风格。
OpenAI 宣布推出一款全新的 embedding 模型，称其能力显著更强、成本效益更高且使用更简便。原文未披露该模型的名称、参数规模、上下文长度或定价等具体细节。
OpenAI 宣布训练出名为 ChatGPT 的模型，它以对话方式交互，可通过对话格式回答后续问题、承认自身错误、质疑不正确的前提并拒绝不当请求。
OpenAI 宣布训练并开源神经网络 Whisper，称其在英文语音识别上接近人类水平的鲁棒性和准确性。
Hugging Face 发布 BLOOM，这是首个完全透明训练的多语言大语言模型，拥有 176B 参数，可生成 46 种自然语言和 13 种编程语言的文本。该项目由 70+ 国家、250+ 机构的 1000 多名研究人员协作完成，在法国巴黎南部的 Jean Zay 超算上训练 117 天（3 月 11 日至 7 月 6 日），算力资助价值约 €3M。
推荐理由：原文交代了训练协作规模与开放许可细节，读者可据此理解大模型研究门槛如何被降低。
OpenAI 通过在大规模人类 Minecraft 玩法无标注视频上做 Video PreTraining（VPT），配合少量标注承包商数据，训练出一个神经网络来玩 Minecraft。微调后该模型能合成钻石工具，这一任务通常需要熟练人类耗时 20 分钟以上（24,000 次动作）；模型使用键盘按键和鼠标移动这一原生人类接口，较为通用，是迈向通用计算机使用智能体的一步。
OpenAI 训练了“批评写作”模型来描述摘要中的缺陷，人类评估者在看到模型批评后发现摘要缺陷的频率大幅提高。更大的模型自我批评能力更强，规模提升对批评写作的改进大于对摘要写作的改进。这表明 AI 系统有望在困难任务上辅助人类对 AI 系统的监督。
OpenAI 发布 GPT-3 和 Codex 新版本，新增编辑与插入功能，可对已有文本进行修改或插入内容，而不再局限于补全文本。
BERT 是 Google AI Language 于 2018 年开发的 NLP 模型，可解决 11+ 项常见语言任务，自 2020 年 11 月起帮助 Google 改善几乎所有英文搜索结果。
OpenAI 构建了一个面向 Lean 的神经定理证明器，学会了求解多道有挑战性的高中数学竞赛题，涵盖 AMC12、AIME 竞赛题目，以及两道改编自 IMO 的题目。
OpenAI 发布 InstructGPT 系列语言模型，称其遵循用户意图的能力优于 GPT-3，同时更真实、毒性更低，采用对齐研究中的人类参与训练技术，现已在 API 中设为默认语言模型。
推荐理由：说明了用人类反馈对齐技术让模型更好遵循指令并降低毒性，可迁移至同类模型训练。
OpenAI 微调 GPT-3，使其能通过文本版网页浏览器更准确地回答开放式问题，推出 WebGPT。该方法让模型借助网页浏览检索信息，以提升回答的事实准确性。
OpenAI 训练了一个解小学数学应用题的系统，准确率接近微调 GPT-3 模型的两倍。在数据集抽样测试中，9-12 岁儿童得分为 60%，该系统在同样题目上得分为 55%，约为真实儿童解题量的 90%。
Hugging Face 在 JAX/Flax 社区周期间，用 7 台 TPU v3-8 和多达 10 亿句对的语料训练出 SOTA 句子嵌入模型。训练采用 Multiple Negative Ranking Loss 对比学习，通过增大 batch size、加入 hard negatives 和跨数据集组 batch 提升质量，相似度缩放因子 C=20。
OpenAI 推出改进版 OpenAI Codex——将自然语言翻译为代码的 AI 系统，并于今日起通过 API 以私有测试版（private beta）形式发布。
OpenAI 发现 CLIP 中存在多模态神经元，对同一概念无论以字面、符号还是概念形式呈现都会产生响应。这一发现可能解释了 CLIP 对概念的意外视觉呈现进行准确分类的原因，也是理解 CLIP 及类似模型所学习的关联与偏见的重要一步。
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别的视觉类别名称即可应用于任意视觉分类基准，其零样本能力与 GPT-2 和 GPT-3 类似。
OpenAI 宣布训练出名为 DALL·E 的神经网络，可根据文本描述为自然语言可表达的广泛概念生成图像。
推荐理由：原文点明了从文本生成图像这一能力方向，读者可据此理解多模态生成的早期定位。
OpenAI 发现，与训练语言相同的 Transformer 模型在像素序列上训练后，可以生成连贯的图像补全与样本。通过建立样本质量与图像分类准确率的相关性，研究显示其最佳生成模型所含特征在无监督设定下可与顶级卷积网络竞争。
OpenAI 研究发现，CNN、ResNet 和 transformer 中存在 double descent 现象：随着模型规模、数据量或训练时间增加，性能先提升、再变差、随后再次提升。该效应通常可通过细致的正则化规避，但其成因尚未被完全理解，OpenAI 认为进一步研究这一现象是重要的研究方向。
OpenAI 发布 GPT-2 最大的 1.5B 参数版本，同时开放代码和模型权重以便利对 GPT-2 输出的检测，这是 GPT-2 分阶段发布的最终模型。作者表示自 8 月以来已有更大的语言模型发布，但仍按原计划推进，希望这一完整分阶段发布流程能为未来强大模型的开发者提供参考，并继续与 AI 社区讨论负责任的发布方式。
推荐理由：原文交代了分阶段发布计划的收尾背景，读者可借此理解负责任发布这一做法的完整流程。
OpenAI 训练了一对神经网络，让类人机器人手解开魔方。训练完全在模拟环境中进行，使用了与 OpenAI Five 相同的强化学习代码，并结合一种名为 Automatic Domain Randomization (ADR) 的新技术。系统能应对训练中未见过的情况，例如被毛绒长颈鹿戳碰，表明强化学习可解决物理世界中要求极高灵巧度的问题。
推荐理由：原文点明训练完全在模拟中完成并迁移到物理世界，读者可据此理解强化学习在真实机器人上的可行性路径。
OpenAI 在发布 124M 小模型、分阶段发布 355M 中模型及相关误用与社会效益研究后，正式发布 774M 参数的 GPT-2 语言模型。同时发布一份开源法律协议，方便组织之间发起模型共享合作，并公布技术报告介绍其与 AI 研究社区协调发布规范的经验。
推荐理由：原文交代了分阶段发布路径与配套法律协议，读者可了解其模型共享合作的落地方式。
OpenAI 发布 MuseNet，一个可生成 4 分钟、包含 10 种乐器并融合从 country 到 Mozart 到 the Beatles 等不同风格的深度神经网络。
OpenAI 发布 Sparse Transformer，这是一种深度神经网络，在文本、图像和声音的序列下一 token 预测上刷新纪录。它通过对注意力机制做算法改进，能从比此前可能长 30 倍的序列中提取模式。
OpenAI Five 在本周末的 Finals 中连胜两局，击败 Dota 2 世界冠军战队 OG，成为首个在电竞项目中战胜世界冠军的 AI。原文指出，OpenAI Five 与 DeepMind 的 AlphaStar 此前都曾在私下击败过顶尖职业选手但输掉了现场直播的比赛，因此这也是 AI 首次在直播中战胜电竞职业选手。
推荐理由：原文点明这是 AI 首次在直播中战胜电竞职业选手，提供了与 AlphaStar 此前战绩的对照背景。
OpenAI 将于 4 月 13 日 11:30am PT 举办 OpenAI Five 的最后一场现场比赛。这是 OpenAI Five 系列的收官赛事。
OpenAI 在能量模型（EBM）的稳定与可扩展训练上取得进展，生成样本的质量和泛化能力优于现有模型。EBM 生成过程会投入更多算力持续优化答案，在低温下可生成与 GAN 竞争的样本，同时具备基于似然模型的模式覆盖保证。OpenAI 希望这些发现能推动对这一模型类别的进一步研究。
OpenAI 宣布训练出一个大规模无监督语言模型，能生成连贯段落，在多个语言模型基准上取得 state-of-the-art 表现，并在未经任务特定训练的情况下完成初步的阅读理解、机器翻译、问答和摘要任务。
OpenAI 开发了一个能量模型（energy-based model），仅用 5 个示例即可快速学会识别并生成 near、above、between、closest、furthest 等以 2d 点集表达的概念。该模型还实现了跨领域迁移，能将在 2d 粒子环境中习得的概念用于解决 3 维物理机器人任务。
OpenAI 开发了 Random Network Distillation (RND)，一种基于预测、通过好奇心驱动强化学习智能体探索环境的方法，首次在 Montezuma's Revenge 上超过人类平均水平。