Hugging Face 发布 StarCoder2-15B-Instruct-v0.1 全透明自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，一个完全用自生成数据、无需 GPT-4 等闭源教师模型蒸馏的指令微调代码模型，HumanEval 得分 72.6，超过 CodeLlama-70B-Instruct 的 72.0。
全部 AI 动态
Hugging Face BlogAI 评分5757
Hugging Face BlogAI 评分5656 Hugging Face 开源多用途 Transformer 智能体 JAT 及配套数据集
Hugging Face 发布 Jack of All Trades（JAT）项目，包含 JAT 模型、JAT 数据集和一批专家 RL 智能体，JAT 是基于 Transformer 的多用途智能体，可在 Atari、BabyAI、Meta-World、MuJoCo 等 157 个训练任务上用单一网络完成游戏、机器人控制和导航等决策任务。
Hugging Face Blog精选AI 评分8888 Hugging Face 完整集成 Meta Llama 3 开源模型
Meta 发布开源 Llama 3 系列，包含 8B 和 70B 两种参数规模的 base 与 instruct 共 4 个模型，以及基于 Llama 3 8B 微调的 Llama Guard 2，全部已上线 Hugging Face Hub。
推荐理由：原文梳理了 Llama 3 的技术变化与生态集成入口，读者可据此判断如何在自己的工作流中使用它。
Mistral AI精选AI 评分7171 Mistral AI 发布开源模型 Mixtral 8x22B
Mistral AI 发布最新开源模型 Mixtral 8x22B，采用稀疏 MoE 架构，141B 总参数中仅激活 39B，以 Apache 2.0 许可开放。
推荐理由：原文给出了参数规模、激活量与基准分数，读者可据此评估其性价比定位。
Hugging Face Blog精选AI 评分6363 Hugging Face 发布 8B 多模态模型 Idefics2
Hugging Face 发布 Idefics2，一个 8B 参数的通用多模态模型，采用 Apache 2.0 开源许可，可接受任意文本与图像序列输入并生成文本回答，具备图像问答、文档信息抽取和基础算术等能力。
推荐理由：给出了模型能力、基准对比和训练数据构成，读者可据此判断 8B 规模开源多模态模型的可用水平。
Hugging Face BlogAI 评分5555 Hugging Face 与 Google 合作发布代码模型 CodeGemma
Hugging Face 与 Google 合作发布开源代码模型 CodeGemma，基于 2B 和 7B Gemma 检查点，在 500 billion tokens 的英语数据、数学和代码上继续训练，提供 2B base、7B base 和 7B Instruct 三个版本，上下文窗口均为 8K token。
OpenAI NewsAI 评分4141 OpenAI 分享 Voice Engine 合成语音的挑战与机遇
OpenAI 分享了 Voice Engine 小规模预览的实践经验，这是一款用于创建定制语音的模型。文章总结了合成语音在开发过程中遇到的挑战与机遇。
Hugging Face Blog精选AI 评分6969 BigCode 开源 StarCoder2 代码大模型与 The Stack v2 数据集
BigCode 发布开源代码大模型 StarCoder2，含 3B、7B、15B 三个尺寸，全部基于新数据集 The Stack v2 训练，模型、数据集及训练代码均开放。
推荐理由：原文列出了三个尺寸的训练规模与数据集对比，读者可据此判断小模型能否替代更大模型。
Mistral AI精选AI 评分7878 Mistral AI 发布旗舰模型 Mistral Large 与低延迟模型 Mistral Small
Mistral AI 发布旗舰语言模型 Mistral Large，称其为通过 API 普遍可用的全球第二强模型（仅次于 GPT-4），具备 32K tokens 上下文窗口、五种语言原生流利、原生 function calling 与精确指令遵循能力。
推荐理由：原文给出基准对比与三种接入方式，读者可据此评估其相对 GPT-4 的定位和部署选择。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 完成全生态集成
Google 发布开源大模型系列 Gemma，包含 7B 和 2B 两种参数规模、各有 base 与 instruction-tuned 版本，共 4 个开放模型上线 Hugging Face Hub。
推荐理由：文章给出各尺寸模型的跑分对照和单卡微调命令，读者可据此判断在自有硬件上落地的可行性。
Hugging Face BlogAI 评分5656 Hugging Face 开源 aMUSEd：基于掩码图像模型的高效文生图模型
Hugging Face 发布 aMUSEd，一个开源复现 Google MUSE 的非扩散文生图模型研究预览，采用 Masked Image Model 方法，参数量约 800M（含文本编码器和 VQ-GAN），推理速度快且支持零样本图像修复。
Mistral AI精选AI 评分8888 Mistral AI 开源发布 Mixtral 8x7B 稀疏专家模型
Mistral AI 发布 Mixtral 8x7B，一款采用 Apache 2.0 许可的稀疏混合专家（SMoE）模型，开放权重。它在多数基准上匹配或超过 Llama 2 70B 与 GPT3.5，推理速度提升 6x，支持 32k tokens 上下文和五种语言。
推荐理由：原文给出了架构细节与部署路径，读者可据此评估稀疏 MoE 在成本与性能上的取舍。
Hugging Face Blog精选AI 评分7878 Hugging Face 完整集成 Mixtral 8x7B 模型
Mistral 发布开源大模型 Mixtral 8x7B，Hugging Face 完成生态集成，包括 Hub 模型卡、Transformers、Inference Endpoints 与 Text Generation Inference 支持。
推荐理由：文章解释了 MoE 架构如何让 45B 参数模型以 12B 密集模型速度解码，并给出量化与微调的实操路径。
OpenAI News精选AI 评分8888 OpenAI DevDay 发布 GPT-4 Turbo、Assistants API 等新品
OpenAI 在 DevDay 上宣布多项新模型与开发者产品，包括具备 128K context 且价格更低的 GPT-4 Turbo、新版 Assistants API、GPT-4 Turbo with Vision 以及 DALL·E 3 API 等。
推荐理由：原文列出了一次开发者大会上的多项模型与API更新，可据此了解OpenAI当时的产品线变化方向。
Mistral AI精选AI 评分7878 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数模型 Mistral 7B，称其在所有基准上超过 Llama 2 13B、在多数基准上超过 Llama 1 34B，代码能力接近 CodeLlama 7B。
推荐理由：原文给出了基准对比、注意力机制细节和部署入口，读者可据此评估该模型的性价比与迁移价值。
Mistral AI精选AI 评分7272 Mistral AI 发布 Mistral 7B 并阐述开放模型路线
Mistral AI 发布首个 7B 参数模型 Mistral 7B，称其在所有标准英文与代码基准上超过现有 13B 以下开源模型，以 Apache 2.0 许可开放使用。该模型基于三个月工作建成的 MLops 栈与数据处理管线，可做摘要、结构化和问答，生成速度与成本优于大型专有方案；公司同时开放 GitHub 仓库和 Discord 频道，并表示在开发商业产品的同时继续发布开源模型。
推荐理由：原文对比了开放模型与闭源 API 在定制、成本和数据隐私上的差异，读者可据此理解其开源路线的商业与技术理由。
OpenAI News精选AI 评分7070 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍 GPT-4V 的相关信息。
Hugging Face BlogAI 评分5656 Hugging Face 发布 Würstchen：42x 空间压缩的快速文生图扩散模型
Hugging Face 发布 Würstchen 扩散模型，其文本条件组件在高度压缩的图像潜在空间中工作，实现 42x 空间压缩，通过 Stage A（VQGAN）、Stage B（Diffusion Autoencoder）与 Stage C（Prior）三阶段设计，训练与推理成本大幅降低。
Hugging Face Blog精选AI 评分7676 Hugging Face 迎来 TII 的 Falcon 180B 开源模型
Hugging Face 官方博客宣布 TII 的 Falcon 180B 加入 HuggingFace 生态，这是当时最大的公开可用语言模型，拥有 180B 参数、在 RefinedWeb 数据集上训练 3.5 trillion tokens，是开源模型中最长的单轮预训练。
推荐理由：文章给出了硬件需求和量化实测，读者可据此评估自己能否跑起这个 180B 模型。
Hugging Face Blog精选AI 评分6464 Hugging Face 开源发布多模态模型 IDEFICS
Hugging Face 发布开放获取的视觉语言模型 IDEFICS，作为 DeepMind 未公开的 Flamingo 的开放复现，可接受任意图像与文本序列输入并生成文本输出。
推荐理由：原文交代了复现所用的公开数据与模型组件，读者可据此理解开放复现闭源模型的具体路径。
Hugging Face BlogAI 评分5050 Segmind 开源 SD-Small 和 SD-Tiny 蒸馏模型的代码与权重
Segmind 开源了基于知识蒸馏压缩的 SD-Small 和 SD-Tiny 模型的训练代码与预训练权重，两者参数量分别比基础模型少 35% 和 55%，图像保真度与基础模型相当，推理速度最高提升 100%。
Hugging Face Blog精选AI 评分8888 Hugging Face 全面支持 Meta Llama 2 发布并提供推理与微调指南
Meta 发布 Llama 2 系列开放大语言模型，Hugging Face 完成生态集成，Hub 上提供 12 个开放模型（3 个基础模型与 3 个微调模型及对应 transformers 版本），采用宽松社区许可并支持商用。
推荐理由：文章给出从推理部署到单卡微调的完整路径，可直接迁移用于自己的 Llama 2 实践。
Hugging Face Blog精选AI 评分6565 Falcon 系列模型接入 Hugging Face 生态并提供完整推理与微调指南
Hugging Face 官方博客介绍 Falcon 系列模型（Falcon-40B 与 Falcon-7B，由阿布扎比 Technology Innovation Institute 以 Apache 2.0 许可发布）接入其生态的完整用法。
推荐理由：文章系统梳理了 Falcon 在 Hugging Face 生态中的推理、量化与微调路径，可直接迁移为落地参考。
OpenAI News精选AI 评分6666 OpenAI 用过程监督提升数学推理并取得新 SOTA
OpenAI 训练的模型通过奖励每一步正确的推理过程（过程监督）而非仅奖励最终答案（结果监督），在数学问题求解上取得新的 SOTA。原文指出过程监督除提升性能外，还能直接训练模型产出经人类认可的 chain-of-thought，带来对齐层面的收益。
推荐理由：原文对比了过程监督与结果监督的差异，读者可据此理解奖励每一步推理对性能和对齐的双重作用。
Hugging Face Blog精选AI 评分7878 Hugging Face 与 ServiceNow 联合发布代码大模型 StarCoder
Hugging Face 与 ServiceNow 联合的 BigCode 项目发布代码大模型 StarCoder 和 StarCoderBase，基于 80+ 编程语言等许可数据训练，约 15B 参数、1 trillion tokens。
推荐理由：原文给出评测数据和提示词技巧，读者可了解开源代码模型的水平及提升分数的具体做法。
OpenAI News精选AI 评分8787 OpenAI 发布 GPT-4 多模态模型
OpenAI 发布 GPT-4，称其为该公司扩展深度学习进程中的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在多种专业和学术基准上展现人类水平表现，同时在许多真实场景中仍不及人类。
推荐理由：原文点明了GPT-4的多模态输入能力和基准表现定位，读者可据此理解这一代模型相对前代的关键变化。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-4
OpenAI 发布 GPT-4，官方介绍称它能在创意与技术写作任务上与用户共同生成、编辑和迭代，例如作曲、编写剧本或学习用户的写作风格。
Hugging Face BlogAI 评分5555 Hugging Face 与 Kakao Brain 开源 ViT、ALIGN 模型与 COYO 数据集
Hugging Face 与 Kakao Brain 联合开源 COYO 图文数据集（700M 对）以及在其上训练的 ViT 和 ALIGN 模型，这是 ALIGN 首次免费开源，也是首个附带训练数据的 ViT 与 ALIGN 发布。
OpenAI NewsAI 评分3030 OpenAI 推出全新改进的 embedding 模型
OpenAI 宣布推出一款全新的 embedding 模型，称其能力显著更强、成本效益更高且使用更简便。原文未披露该模型的名称、参数规模、上下文长度或定价等具体细节。
OpenAI News精选AI 评分8787 OpenAI 发布对话式模型 ChatGPT
OpenAI 宣布训练出名为 ChatGPT 的模型，它以对话方式交互，可通过对话格式回答后续问题、承认自身错误、质疑不正确的前提并拒绝不当请求。
OpenAI News精选AI 评分6767 OpenAI 开源语音识别模型 Whisper
OpenAI 宣布训练并开源神经网络 Whisper，称其在英文语音识别上接近人类水平的鲁棒性和准确性。
Hugging Face Blog精选AI 评分7878 Hugging Face 发布 176B 参数开源多语言模型 BLOOM
Hugging Face 发布 BLOOM，这是首个完全透明训练的多语言大语言模型，拥有 176B 参数，可生成 46 种自然语言和 13 种编程语言的文本。该项目由 70+ 国家、250+ 机构的 1000 多名研究人员协作完成，在法国巴黎南部的 Jean Zay 超算上训练 117 天（3 月 11 日至 7 月 6 日），算力资助价值约 €3M。
推荐理由：原文交代了训练协作规模与开放许可细节，读者可据此理解大模型研究门槛如何被降低。
OpenAI NewsAI 评分5555 OpenAI 发布 Video PreTraining（VPT）让模型学会玩 Minecraft
OpenAI 通过在大规模人类 Minecraft 玩法无标注视频上做 Video PreTraining（VPT），配合少量标注承包商数据，训练出一个神经网络来玩 Minecraft。微调后该模型能合成钻石工具，这一任务通常需要熟练人类耗时 20 分钟以上（24,000 次动作）；模型使用键盘按键和鼠标移动这一原生人类接口，较为通用，是迈向通用计算机使用智能体的一步。
OpenAI NewsAI 评分4444 OpenAI 训练“批评写作”模型帮助人类发现摘要缺陷
OpenAI 训练了“批评写作”模型来描述摘要中的缺陷，人类评估者在看到模型批评后发现摘要缺陷的频率大幅提高。更大的模型自我批评能力更强，规模提升对批评写作的改进大于对摘要写作的改进。这表明 AI 系统有望在困难任务上辅助人类对 AI 系统的监督。
OpenAI NewsAI 评分5050 OpenAI 推出 GPT-3 与 Codex 新版本：支持编辑与插入
OpenAI 发布 GPT-3 和 Codex 新版本，新增编辑与插入功能，可对已有文本进行修改或插入内容，而不再局限于补全文本。
OpenAI NewsAI 评分4444 OpenAI 用 Lean 神经定理证明器求解部分国际数学奥林匹克难题
OpenAI 构建了一个面向 Lean 的神经定理证明器，学会了求解多道有挑战性的高中数学竞赛题，涵盖 AMC12、AIME 竞赛题目，以及两道改编自 IMO 的题目。
OpenAI News精选AI 评分7676 OpenAI 发布 InstructGPT 并设为 API 默认模型
OpenAI 发布 InstructGPT 系列语言模型，称其遵循用户意图的能力优于 GPT-3，同时更真实、毒性更低，采用对齐研究中的人类参与训练技术，现已在 API 中设为默认语言模型。
推荐理由：说明了用人类反馈对齐技术让模型更好遵循指令并降低毒性，可迁移至同类模型训练。
OpenAI NewsAI 评分4545 WebGPT：通过网页浏览提升语言模型的事实准确性
OpenAI 微调 GPT-3，使其能通过文本版网页浏览器更准确地回答开放式问题，推出 WebGPT。该方法让模型借助网页浏览检索信息，以提升回答的事实准确性。
OpenAI NewsAI 评分5555 OpenAI 训练出接近微调 GPT-3 两倍准确率的小学数学解题系统
OpenAI 训练了一个解小学数学应用题的系统，准确率接近微调 GPT-3 模型的两倍。在数据集抽样测试中，9-12 岁儿童得分为 60%，该系统在同样题目上得分为 55%，约为真实儿童解题量的 90%。
Hugging Face BlogAI 评分4444 用 1B 训练对训练句子嵌入模型
Hugging Face 在 JAX/Flax 社区周期间，用 7 台 TPU v3-8 和多达 10 亿句对的语料训练出 SOTA 句子嵌入模型。训练采用 Multiple Negative Ranking Loss 对比学习，通过增大 batch size、加入 hard negatives 和跨数据集组 batch 提升质量，相似度缩放因子 C=20。