BigCode 开源 StarCoder2 代码大模型与 The Stack v2 数据集
BigCode 发布开源代码大模型 StarCoder2，含 3B、7B、15B 三个尺寸，全部基于新数据集 The Stack v2 训练，模型、数据集及训练代码均开放。
推荐理由：原文列出了三个尺寸的训练规模与数据集对比，读者可据此判断小模型能否替代更大模型。
#模型发布
Hugging Face Blog精选AI 评分6969
Mistral AI精选AI 评分7878 Mistral AI 发布旗舰模型 Mistral Large 与低延迟模型 Mistral Small
Mistral AI 发布旗舰语言模型 Mistral Large，称其为通过 API 普遍可用的全球第二强模型（仅次于 GPT-4），具备 32K tokens 上下文窗口、五种语言原生流利、原生 function calling 与精确指令遵循能力。
推荐理由：原文给出基准对比与三种接入方式，读者可据此评估其相对 GPT-4 的定位和部署选择。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 完成全生态集成
Google 发布开源大模型系列 Gemma，包含 7B 和 2B 两种参数规模、各有 base 与 instruction-tuned 版本，共 4 个开放模型上线 Hugging Face Hub。
推荐理由：文章给出各尺寸模型的跑分对照和单卡微调命令，读者可据此判断在自有硬件上落地的可行性。
OpenAI News精选AI 评分8282 OpenAI 发布视频生成模型 Sora，探索世界模拟器路线
OpenAI 发布视频生成模型 Sora，可在文本条件下生成一分钟高保真视频。该模型基于在视频与图像潜码的时空 patch 上运行的 Transformer 架构，对不同时长、分辨率和宽高比的视频与图像联合训练，其结果表明扩大视频生成模型规模是构建物理世界通用模拟器的可行路径。
推荐理由：原文点明扩大视频生成规模是通向物理世界通用模拟器的路径，提供了技术路线的关键判断。
Hugging Face BlogAI 评分5656 Hugging Face 开源 aMUSEd：基于掩码图像模型的高效文生图模型
Hugging Face 发布 aMUSEd，一个开源复现 Google MUSE 的非扩散文生图模型研究预览，采用 Masked Image Model 方法，参数量约 800M（含文本编码器和 VQ-GAN），推理速度快且支持零样本图像修复。
Mistral AI精选AI 评分8888 Mistral AI 开源发布 Mixtral 8x7B 稀疏专家模型
Mistral AI 发布 Mixtral 8x7B，一款采用 Apache 2.0 许可的稀疏混合专家（SMoE）模型，开放权重。它在多数基准上匹配或超过 Llama 2 70B 与 GPT3.5，推理速度提升 6x，支持 32k tokens 上下文和五种语言。
推荐理由：原文给出了架构细节与部署路径，读者可据此评估稀疏 MoE 在成本与性能上的取舍。
Hugging Face Blog精选AI 评分7878 Hugging Face 完整集成 Mixtral 8x7B 模型
Mistral 发布开源大模型 Mixtral 8x7B，Hugging Face 完成生态集成，包括 Hub 模型卡、Transformers、Inference Endpoints 与 Text Generation Inference 支持。
推荐理由：文章解释了 MoE 架构如何让 45B 参数模型以 12B 密集模型速度解码，并给出量化与微调的实操路径。
OpenAI News精选AI 评分8888 OpenAI DevDay 发布 GPT-4 Turbo、Assistants API 等新品
OpenAI 在 DevDay 上宣布多项新模型与开发者产品，包括具备 128K context 且价格更低的 GPT-4 Turbo、新版 Assistants API、GPT-4 Turbo with Vision 以及 DALL·E 3 API 等。
推荐理由：原文列出了一次开发者大会上的多项模型与API更新，可据此了解OpenAI当时的产品线变化方向。
Mistral AI精选AI 评分7878 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数模型 Mistral 7B，称其在所有基准上超过 Llama 2 13B、在多数基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：原文给出了基准对比、注意力机制细节和部署入口，读者可据此评估该模型的性价比与迁移价值。
Mistral AI精选AI 评分7272 Mistral AI 发布 Mistral 7B 并阐述开放模型路线
Mistral AI 发布首个 7B 参数模型 Mistral 7B，称其在所有标准英文与代码基准上超过现有 13B 以下开源模型，以 Apache 2.0 许可开放使用。该模型基于三个月工作建成的 MLops 栈与数据处理管线，可做摘要、结构化和问答，生成速度与成本优于大型专有方案；公司同时开放 GitHub 仓库和 Discord 频道，并表示在开发商业产品的同时继续发布开源模型。
推荐理由：原文对比了开放模型与闭源 API 在定制、成本和数据隐私上的差异，读者可据此理解其开源路线的商业与技术理由。
OpenAI News精选AI 评分7070 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍 GPT-4V 的相关信息。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Würstchen：42x 空间压缩的快速文生图扩散模型
Hugging Face 发布 Würstchen 扩散模型，其文本条件组件在高度压缩的图像潜在空间中工作，实现 42x 空间压缩，通过 Stage A（VQGAN）、Stage B（Diffusion Autoencoder）与 Stage C（Prior）三阶段设计，训练与推理成本大幅降低。
Hugging Face Blog精选AI 评分7676 Hugging Face 迎来 TII 的 Falcon 180B 开源模型
Hugging Face 官方博客宣布 TII 的 Falcon 180B 加入 HuggingFace 生态，这是当时最大的公开可用语言模型，拥有 180B 参数、在 RefinedWeb 数据集上训练 3.5 trillion tokens，是开源模型中最长的单轮预训练。
推荐理由：文章给出了硬件需求和量化实测，读者可据此评估自己能否跑起这个 180B 模型。
OpenAI NewsAI 评分5858 OpenAI 开放 GPT-3.5 Turbo 微调及 API 更新
OpenAI 宣布开发者现在可以使用自己的数据对 GPT-3.5 Turbo 进行微调，以适配具体用例，同时发布了相关 API 更新。
Hugging Face Blog精选AI 评分6464 Hugging Face 开源发布多模态模型 IDEFICS
Hugging Face 发布开放获取的视觉语言模型 IDEFICS，作为 DeepMind 未公开的 Flamingo 的开放复现，可接受任意图像与文本序列输入并生成文本输出。
推荐理由：原文交代了复现所用的公开数据与模型组件，读者可据此理解开放复现闭源模型的具体路径。
Hugging Face Blog精选AI 评分8888 Hugging Face 全面支持 Meta Llama 2 发布并提供推理与微调指南
Meta 发布 Llama 2 系列开放大语言模型，Hugging Face 完成生态集成，Hub 上提供 12 个开放模型（3 个基础模型与 3 个微调模型及对应 transformers 版本），采用宽松社区许可并支持商用。
推荐理由：文章给出从推理部署到单卡微调的完整路径，可直接迁移用于自己的 Llama 2 实践。
Hugging Face Blog精选AI 评分7878 Hugging Face 与 ServiceNow 联合发布代码大模型 StarCoder
Hugging Face 与 ServiceNow 联合的 BigCode 项目发布代码大模型 StarCoder 和 StarCoderBase，基于 80+ 编程语言等许可数据训练，约 15B 参数、1 trillion tokens。
推荐理由：原文给出评测数据和提示词技巧，读者可了解开源代码模型的水平及提升分数的具体做法。
OpenAI News精选AI 评分8787 OpenAI 发布 GPT-4 多模态模型
OpenAI 发布 GPT-4，称其为该公司扩展深度学习进程中的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在多种专业和学术基准上展现人类水平表现，同时在许多真实场景中仍不及人类。
推荐理由：原文点明了GPT-4的多模态输入能力和基准表现定位，读者可据此理解这一代模型相对前代的关键变化。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-4
OpenAI 发布 GPT-4，官方介绍称它能在创意与技术写作任务上与用户共同生成、编辑和迭代，例如作曲、编写剧本或学习用户的写作风格。
OpenAI NewsAI 评分3030 OpenAI 推出全新改进的 embedding 模型
OpenAI 宣布推出一款全新的 embedding 模型，称其能力显著更强、成本效益更高且使用更简便。原文未披露该模型的名称、参数规模、上下文长度或定价等具体细节。
OpenAI News精选AI 评分8787 OpenAI 发布对话式模型 ChatGPT
OpenAI 宣布训练出名为 ChatGPT 的模型，它以对话方式交互，可通过对话格式回答后续问题、承认自身错误、质疑不正确的前提并拒绝不当请求。
OpenAI News精选AI 评分6767 OpenAI 开源语音识别模型 Whisper
OpenAI 宣布训练并开源神经网络 Whisper，称其在英文语音识别上接近人类水平的鲁棒性和准确性。
Hugging Face Blog精选AI 评分7878 Hugging Face 发布 176B 参数开源多语言模型 BLOOM
Hugging Face 发布 BLOOM，这是首个完全透明训练的多语言大语言模型，拥有 176B 参数，可生成 46 种自然语言和 13 种编程语言的文本。该项目由 70+ 国家、250+ 机构的 1000 多名研究人员协作完成，在法国巴黎南部的 Jean Zay 超算上训练 117 天（3 月 11 日至 7 月 6 日），算力资助价值约 €3M。
推荐理由：原文交代了训练协作规模与开放许可细节，读者可据此理解大模型研究门槛如何被降低。
OpenAI NewsAI 评分5555 OpenAI 发布 Video PreTraining（VPT）让模型学会玩 Minecraft
OpenAI 通过在大规模人类 Minecraft 玩法无标注视频上做 Video PreTraining（VPT），配合少量标注承包商数据，训练出一个神经网络来玩 Minecraft。微调后该模型能合成钻石工具，这一任务通常需要熟练人类耗时 20 分钟以上（24,000 次动作）；模型使用键盘按键和鼠标移动这一原生人类接口，较为通用，是迈向通用计算机使用智能体的一步。
OpenAI NewsAI 评分4444 OpenAI 训练“批评写作”模型帮助人类发现摘要缺陷
OpenAI 训练了“批评写作”模型来描述摘要中的缺陷，人类评估者在看到模型批评后发现摘要缺陷的频率大幅提高。更大的模型自我批评能力更强，规模提升对批评写作的改进大于对摘要写作的改进。这表明 AI 系统有望在困难任务上辅助人类对 AI 系统的监督。
OpenAI NewsAI 评分5050 OpenAI 推出 GPT-3 与 Codex 新版本：支持编辑与插入
OpenAI 发布 GPT-3 和 Codex 新版本，新增编辑与插入功能，可对已有文本进行修改或插入内容，而不再局限于补全文本。
Hugging Face BlogAI 评分2626 BERT 101：详解这一 SOTA NLP 模型
BERT 是 Google AI Language 于 2018 年开发的 NLP 模型，可解决 11+ 项常见语言任务，自 2020 年 11 月起帮助 Google 改善几乎所有英文搜索结果。
OpenAI NewsAI 评分4444 OpenAI 用 Lean 神经定理证明器求解部分国际数学奥林匹克难题
OpenAI 构建了一个面向 Lean 的神经定理证明器，学会了求解多道有挑战性的高中数学竞赛题，涵盖 AMC12、AIME 竞赛题目，以及两道改编自 IMO 的题目。
OpenAI News精选AI 评分7676 OpenAI 发布 InstructGPT 并设为 API 默认模型
OpenAI 发布 InstructGPT 系列语言模型，称其遵循用户意图的能力优于 GPT-3，同时更真实、毒性更低，采用对齐研究中的人类参与训练技术，现已在 API 中设为默认语言模型。
推荐理由：说明了用人类反馈对齐技术让模型更好遵循指令并降低毒性，可迁移至同类模型训练。
OpenAI NewsAI 评分4545 WebGPT：通过网页浏览提升语言模型的事实准确性
OpenAI 微调 GPT-3，使其能通过文本版网页浏览器更准确地回答开放式问题，推出 WebGPT。该方法让模型借助网页浏览检索信息，以提升回答的事实准确性。
OpenAI NewsAI 评分5555 OpenAI 训练出接近微调 GPT-3 两倍准确率的小学数学解题系统
OpenAI 训练了一个解小学数学应用题的系统，准确率接近微调 GPT-3 模型的两倍。在数据集抽样测试中，9-12 岁儿童得分为 60%，该系统在同样题目上得分为 55%，约为真实儿童解题量的 90%。
Hugging Face BlogAI 评分4444 用 1B 训练对训练句子嵌入模型
Hugging Face 在 JAX/Flax 社区周期间，用 7 台 TPU v3-8 和多达 10 亿句对的语料训练出 SOTA 句子嵌入模型。训练采用 Multiple Negative Ranking Loss 对比学习，通过增大 batch size、加入 hard negatives 和跨数据集组 batch 提升质量，相似度缩放因子 C=20。
OpenAI NewsAI 评分5050 OpenAI Codex 改进版通过 API 私有测试版发布
OpenAI 推出改进版 OpenAI Codex——将自然语言翻译为代码的 AI 系统，并于今日起通过 API 以私有测试版（private beta）形式发布。
OpenAI NewsAI 评分4444 CLIP 中的多模态神经元
OpenAI 发现 CLIP 中存在多模态神经元，对同一概念无论以字面、符号还是概念形式呈现都会产生响应。这一发现可能解释了 CLIP 对概念的意外视觉呈现进行准确分类的原因，也是理解 CLIP 及类似模型所学习的关联与偏见的重要一步。
OpenAI News精选AI 评分7676 OpenAI 发布 CLIP：用自然语言监督连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别的视觉类别名称即可应用于任意视觉分类基准，其零样本能力与 GPT-2 和 GPT-3 类似。
OpenAI News精选AI 评分7878 OpenAI 发布 DALL·E 文本生成图像模型
OpenAI 宣布训练出名为 DALL·E 的神经网络，可根据文本描述为自然语言可表达的广泛概念生成图像。
推荐理由：原文点明了从文本生成图像这一能力方向，读者可据此理解多模态生成的早期定位。
OpenAI NewsAI 评分4141 Image GPT：用 Transformer 生成图像
OpenAI 发现，与训练语言相同的 Transformer 模型在像素序列上训练后，可以生成连贯的图像补全与样本。通过建立样本质量与图像分类准确率的相关性，研究显示其最佳生成模型所含特征在无监督设定下可与顶级卷积网络竞争。
OpenAI NewsAI 评分4444 Deep double descent：模型性能随规模先降后升的现象
OpenAI 研究发现，CNN、ResNet 和 transformer 中存在 double descent 现象：随着模型规模、数据量或训练时间增加，性能先提升、再变差、随后再次提升。该效应通常可通过细致的正则化规避，但其成因尚未被完全理解，OpenAI 认为进一步研究这一现象是重要的研究方向。
OpenAI News精选AI 评分7272 OpenAI 发布 GPT-2 最大 1.5B 参数版本，完成分阶段发布
OpenAI 发布 GPT-2 最大的 1.5B 参数版本，同时开放代码和模型权重以便利对 GPT-2 输出的检测，这是 GPT-2 分阶段发布的最终模型。作者表示自 8 月以来已有更大的语言模型发布，但仍按原计划推进，希望这一完整分阶段发布流程能为未来强大模型的开发者提供参考，并继续与 AI 社区讨论负责任的发布方式。
推荐理由：原文交代了分阶段发布计划的收尾背景，读者可借此理解负责任发布这一做法的完整流程。
OpenAI News精选AI 评分7272 OpenAI 用机器人手在模拟训练中学会解魔方
OpenAI 训练了一对神经网络，让类人机器人手解开魔方。训练完全在模拟环境中进行，使用了与 OpenAI Five 相同的强化学习代码，并结合一种名为 Automatic Domain Randomization (ADR) 的新技术。系统能应对训练中未见过的情况，例如被毛绒长颈鹿戳碰，表明强化学习可解决物理世界中要求极高灵巧度的问题。
推荐理由：原文点明训练完全在模拟中完成并迁移到物理世界，读者可据此理解强化学习在真实机器人上的可行性路径。