OpenAI API 中的模型蒸馏
OpenAI 在 API 中推出模型蒸馏功能,允许用户用大型前沿模型的输出来微调一个高性价比模型,整个流程都在 OpenAI 平台上完成。
OpenAI 在 API 中推出模型蒸馏功能,允许用户用大型前沿模型的输出来微调一个高性价比模型,整个流程都在 OpenAI 平台上完成。
Meta 与 Hugging Face 合作发布 Llama 3.2 系列,共 10 个开放权重模型上线 Hub,包括 5 个多模态模型和 5 个纯文本模型。
推荐理由:原文给出各尺寸模型的显存需求与本地运行方式,读者可据此判断能否在自己的设备上跑起来。
Mistral AI 宣布发布 Mistral Small v24.09(22B 参数,MRL 许可),同时对全系模型降价,Mistral Small 和 Codestral 输入价格降至 $0.2 / M input tokens(降幅 80%),Mistral Large 2 降至 $2 / M input tokens(降幅 33%)。
推荐理由:一次更新同时给出降价幅度、新模型参数与授权方式,便于读者对照自身用量评估迁移成本。
Mistral AI 发布 Pixtral 12B,一款原生多模态模型,采用图文交错数据训练,采用 Apache 2.0 许可,可在 Le Chat 和 La Plateforme 上使用。
推荐理由:原文给出了架构细节、评测协议和本地部署方式,读者可据此评估它能否替代现有开源多模态模型。
OpenAI 官方发布 o1 模型,原文链接为 https://openai.com/index/introducing-openai-o1-preview,抓取失败,仅标题可用,无正文细节。
OpenAI News 发布标题为 Learning to reason with LLMs 的内容,抓取失败,正文不可用,仅标题可用。
OpenAI 发布 o1-mini,定位为成本高效的推理模型,官方页面以 Advancing cost-efficient reasoning 作为核心描述。feed 仅提供摘要,未给出参数、价格或评测细节。
OpenAI 发布了 o1 Contributions 页面,介绍 o1 模型的贡献与相关信息。该页面由 OpenAI News 发布,作为 o1 模型的官方说明入口。
经济学家 Tyler Cowen 解释了 OpenAI o1 如何处理复杂的经济问题。文章围绕 o1 在经济推理场景中的表现展开,展示其应对复杂经济提问的能力。
量子物理学家 Mario Krenn 使用 OpenAI o1 来帮助回答量子物理领域的重大问题。
Cognition CEO 兼联合创始人 Scott Wu 解释了 OpenAI o1 如何以更接近人类的方式做出编码决策。
OpenAI 宣布 GPT-4o 现已支持微调(fine-tuning)。
Hugging Face 与阿布扎比 TII 联合发布 Falcon Mamba 7B,基于 Mamba 架构并加入额外 RMS 归一化层,以约 5500GT 数据训练,可处理任意长度序列且生成每个 token 耗时恒定,能装进单张 A10 24GB GPU。
推荐理由:原文对比了 SSM 与 Transformer 在长序列上的内存与吞吐差异,读者可据此理解无注意力架构的适用边界。
OpenAI 官方发布 GPT-4o 的 System Card(系统卡)。
Google 在 Gemma 2 发布一个月后扩充模型阵容:推出 2.6B 参数的 Gemma 2 2B(含 base 与 instruction-tuned 版本)。
推荐理由:梳理了三个新发布的定位与用法,读者可据此判断小模型在端侧和投机解码中的落地路径。
Mistral AI 发布 Mistral Large 2,API 名为 mistral-large-2407,已在 la Plateforme 和 le Chat 上线,instruct 模型权重同步上线 HuggingFace。
推荐理由:原文给出参数规模、上下文长度与多项基准对比,读者可据此评估它在性能成本上的定位。
OpenAI 开发并应用了基于规则的奖励(Rule-Based Rewards,RBRs)方法,让模型在无需大量人工数据收集的情况下对齐到安全行为。该方法用规则化的奖励信号替代传统依赖人工标注的训练流程,用于改进模型的安全表现。
Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态,Hub 上提供 8 个开放权重模型(3 个 base 和 5 个微调版本),涵盖 8B、70B、405B 三种尺寸,均支持 128K 上下文窗口和 8 种语言,并新增工具调用能力与更宽松的许可(允许用模型输出改进其他 LLM)。
推荐理由:详细列出三种尺寸的显存需求与量化方案,读者可据此判断自己硬件能否跑起来。
OpenAI 官方发布 GPT-4o mini,定位为成本高效(cost-efficient)的模型。
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo,上下文窗口达 128k tokens,采用标准架构,可作为 Mistral 7B 的直接替代,已以 Apache 2.0 许可发布预训练 base 和指令微调 checkpoints。
推荐理由:原文给出了架构兼容性与量化训练细节,读者可据此评估它替换 Mistral 7B 的迁移成本。
Mistral AI 发布 Codestral Mamba,一个基于 Mamba 架构的指令型代码模型,参数量为 7,285,403,648,采用 Apache 2.0 许可,可免费使用、修改和分发。
Mistral AI 发布并开源专注数学与 STEM 推理的指令模型 Mathstral 7B,基于 Mistral 7B 构建,与 Project Numina 合作产出。
Hugging Face 发布 SmolLM 小语言模型系列,包含 135M、360M、1.7B 三种参数规模,并同步开源 SmolLM-Corpus 训练语料。
推荐理由:原文公开了数据配比与消融实验细节,读者可迁移其小模型数据筛选方法。
OpenAI 推出基于 GPT-4 的 CriticGPT,它会为 ChatGPT 的回答撰写批评意见,帮助人类训练者在 RLHF 过程中发现错误。
Google 发布 Gemma 2 系列开放 LLM,Hugging Face 与 Google 合作完成生态集成,Hub 上提供 4 个开放权重模型(9B 与 27B 各含 base 和指令微调版本),上下文长度 8192 tokens,27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。
推荐理由:详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节,便于读者理解其性能提升来源。
OpenAI 提出改进一致性模型(Consistency Models)训练的新方法,使这类生成模型能在无需对抗训练的情况下,仅用一步采样生成高质量数据。
Mistral AI 发布首个代码模型 Codestral,这是一个 22B 开源权重模型,专为代码生成任务设计,支持 80+ 编程语言,具备 fill-in-the-middle 补全机制和 32k 上下文窗口,在 RepoBench 等基准上取得领先表现。
推荐理由:原文给出模型规格、评测基准和开放入口,读者可据此判断它在编码工作流中的可用性。
Mistral AI 宣布推出 Mistral AI 非生产许可证(MNPL),允许开发者将技术用于非商业目的并支持研究工作,同时确保基于其成果构建业务的一方以对各方公平可持续的方式进行。Codestral 于今日在这一新许可证下发布。Mistral AI 表示将继续以 Apache 2.0 发布模型和代码,并逐步整合分别基于 Apache 2.0 和 MNPL 的两类产品。
推荐理由:原文说明了新许可证的适用边界与 Apache 2.0 的保留安排,读者可据此判断其模型的商用条件变化。
TII 发布 Falcon 2 系列首批模型 Falcon2-11B,包括 11B 参数的 LLM 和具备图像理解能力的 VLM,基于超过 5,000 GT tokens 的 RefinedWeb 数据经四阶段训练,上下文长度扩展至 8192 tokens。
Hugging Face 博客介绍 Google 发布的 PaliGemma 视觉语言模型家族,其架构由 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器经线性适配器组合而成,可接收图像与文本并输出文本。
推荐理由:详细拆解了三类检查点的用途差异与分辨率取舍,可帮助读者按任务选型并直接上手微调。
OpenAI 宣布推出新旗舰模型 GPT-4o(GPT-4 Omni),能够跨音频、视觉和文本进行实时推理。
OpenAI 发布 GPT-4o,并让更多能力在 ChatGPT 中免费可用。
OpenAI 宣布发布其最新旗舰模型 GPT-4o,并让更多能力在 ChatGPT 中免费提供给用户。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,一个完全用自生成数据、无需 GPT-4 等闭源教师模型蒸馏的指令微调代码模型,HumanEval 得分 72.6,超过 CodeLlama-70B-Instruct 的 72.0。
Meta 发布开源 Llama 3 系列,包含 8B 和 70B 两种参数规模的 base 与 instruct 共 4 个模型,以及基于 Llama 3 8B 微调的 Llama Guard 2,全部已上线 Hugging Face Hub。
推荐理由:原文梳理了 Llama 3 的技术变化与生态集成入口,读者可据此判断如何在自己的工作流中使用它。
Mistral AI 发布最新开源模型 Mixtral 8x22B,采用稀疏 MoE 架构,141B 总参数中仅激活 39B,以 Apache 2.0 许可开放。
推荐理由:原文给出了参数规模、激活量与基准分数,读者可据此评估其性价比定位。
Hugging Face 发布 Idefics2,一个 8B 参数的通用多模态模型,采用 Apache 2.0 开源许可,可接受任意文本与图像序列输入并生成文本回答,具备图像问答、文档信息抽取和基础算术等能力。
推荐理由:给出了模型能力、基准对比和训练数据构成,读者可据此判断 8B 规模开源多模态模型的可用水平。
OpenAI 宣布在亚洲设立首个办公室,并同步发布针对日语优化的 GPT-4 定制模型。这是 OpenAI 在亚洲的首个办公室,日语定制模型面向日本市场提供更贴合本地语言的 GPT-4 能力。
Hugging Face 与 Google 合作发布开源代码模型 CodeGemma,基于 2B 和 7B Gemma 检查点,在 500 billion tokens 的英语数据、数学和代码上继续训练,提供 2B base、7B base 和 7B Instruct 三个版本,上下文窗口均为 8K token。
OpenAI 分享了 Voice Engine 小规模预览的实践经验,这是一款用于创建定制语音的模型。文章总结了合成语音在开发过程中遇到的挑战与机遇。