OpenAI:用推理时计算换取对抗鲁棒性
OpenAI 发布研究,提出用推理时计算(inference-time compute)换取模型的对抗鲁棒性,即让模型在推理阶段投入更多计算以抵御对抗性攻击。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系,为提升模型安全性提供了新思路。
OpenAI 发布研究,提出用推理时计算(inference-time compute)换取模型的对抗鲁棒性,即让模型在推理阶段投入更多计算以抵御对抗性攻击。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系,为提升模型安全性提供了新思路。
Mistral AI 发布 Codestral 25.01 编码模型,采用更高效的架构和改进的 tokenizer,代码生成与补全速度约为原来的 2 倍,上下文长度为 256k。
Hugging Face 与 LlamaIndex 合作发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型,可将文档页面截图编码为单向量表示,无需 OCR 或分块即可检索多语言文档,同时开源英文版 vdr-2b-v1 和含 500k 样本的 vdr-multilingual-train 训练数据集。
OpenAI 发布新的对齐策略 deliberative alignment,用于 o1 模型,直接向模型教授安全规范并让模型围绕这些规范进行推理。
推荐理由:原文点明该策略直接教模型安全规范并对其推理,读者可据此理解对齐思路的变化。
OpenAI 官方宣布推出 OpenAI o1,同时带来面向开发者的 Realtime API 改进和一种新的微调方法等更新。
Mistral AI 发布 Pixtral Large,一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型,含 123B 多模态解码器与 1B 视觉编码器,支持 128K 上下文窗口,可容纳至少 30 张高分辨率图片。
推荐理由:原文给出了模型结构、上下文窗口和多项基准成绩,读者可据此评估它与闭源前沿模型的差距。
Cohere For AI 发布 Aya Expanse 8B 和 32B 多语言模型并以开放权重形式释出。成对比较中 Aya Expanse 32B 胜过 Gemma 2 27B、Mistral 8x22B 和 Llama 3.1 70B,8B 版本对 Gemma 2 9B、Llama 3.1 8B、Ministral 8B 的胜率在 60.4% 到 70.6% 之间。
OpenAI 简化、稳定并扩展了连续时间一致性模型(continuous-time consistency models),在仅用两个采样步骤的情况下,实现了与领先扩散模型相当的样本质量。
OpenAI 发布视频介绍 o1 推理模型如何在编程、策略和研究等领域帮助解决复杂问题。
Mistral AI 在 Mistral 7B 发布一周年之际推出两款面向端侧计算的模型 Ministral 3B 和 Ministral 8B,称其在 sub-10B 类别的知识、常识、推理、function-calling 和效率上达到新水平。
推荐理由:原文给出了 sub-10B 端侧模型的能力定位、定价与部署细节,便于读者评估其在本地推理场景的可用性。
Meta 与 Hugging Face 合作发布 Llama 3.2 系列,共 10 个开放权重模型上线 Hub,包括 5 个多模态模型和 5 个纯文本模型。
推荐理由:原文给出各尺寸模型的显存需求与本地运行方式,读者可据此判断能否在自己的设备上跑起来。
Mistral AI 宣布发布 Mistral Small v24.09(22B 参数,MRL 许可),同时对全系模型降价,Mistral Small 和 Codestral 输入价格降至 $0.2 / M input tokens(降幅 80%),Mistral Large 2 降至 $2 / M input tokens(降幅 33%)。
推荐理由:一次更新同时给出降价幅度、新模型参数与授权方式,便于读者对照自身用量评估迁移成本。
Mistral AI 发布 Pixtral 12B,一款原生多模态模型,采用图文交错数据训练,采用 Apache 2.0 许可,可在 Le Chat 和 La Plateforme 上使用。
推荐理由:原文给出了架构细节、评测协议和本地部署方式,读者可据此评估它能否替代现有开源多模态模型。
OpenAI 官方发布 o1 模型,原文链接为 https://openai.com/index/introducing-openai-o1-preview,抓取失败,仅标题可用,无正文细节。
OpenAI News 发布标题为 Learning to reason with LLMs 的内容,抓取失败,正文不可用,仅标题可用。
OpenAI 发布 o1-mini,定位为成本高效的推理模型,官方页面以 Advancing cost-efficient reasoning 作为核心描述。feed 仅提供摘要,未给出参数、价格或评测细节。
OpenAI 发布了 o1 Contributions 页面,介绍 o1 模型的贡献与相关信息。该页面由 OpenAI News 发布,作为 o1 模型的官方说明入口。
经济学家 Tyler Cowen 解释了 OpenAI o1 如何处理复杂的经济问题。文章围绕 o1 在经济推理场景中的表现展开,展示其应对复杂经济提问的能力。
量子物理学家 Mario Krenn 使用 OpenAI o1 来帮助回答量子物理领域的重大问题。
Cognition CEO 兼联合创始人 Scott Wu 解释了 OpenAI o1 如何以更接近人类的方式做出编码决策。
Hugging Face 与阿布扎比 TII 联合发布 Falcon Mamba 7B,基于 Mamba 架构并加入额外 RMS 归一化层,以约 5500GT 数据训练,可处理任意长度序列且生成每个 token 耗时恒定,能装进单张 A10 24GB GPU。
推荐理由:原文对比了 SSM 与 Transformer 在长序列上的内存与吞吐差异,读者可据此理解无注意力架构的适用边界。
OpenAI 官方发布 GPT-4o 的 System Card(系统卡)。
Google 在 Gemma 2 发布一个月后扩充模型阵容:推出 2.6B 参数的 Gemma 2 2B(含 base 与 instruction-tuned 版本)。
推荐理由:梳理了三个新发布的定位与用法,读者可据此判断小模型在端侧和投机解码中的落地路径。
Mistral AI 发布 Mistral Large 2,API 名为 mistral-large-2407,已在 la Plateforme 和 le Chat 上线,instruct 模型权重同步上线 HuggingFace。
推荐理由:原文给出参数规模、上下文长度与多项基准对比,读者可据此评估它在性能成本上的定位。
OpenAI 开发并应用了基于规则的奖励(Rule-Based Rewards,RBRs)方法,让模型在无需大量人工数据收集的情况下对齐到安全行为。该方法用规则化的奖励信号替代传统依赖人工标注的训练流程,用于改进模型的安全表现。
Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态,Hub 上提供 8 个开放权重模型(3 个 base 和 5 个微调版本),涵盖 8B、70B、405B 三种尺寸,均支持 128K 上下文窗口和 8 种语言,并新增工具调用能力与更宽松的许可(允许用模型输出改进其他 LLM)。
推荐理由:详细列出三种尺寸的显存需求与量化方案,读者可据此判断自己硬件能否跑起来。
OpenAI 官方发布 GPT-4o mini,定位为成本高效(cost-efficient)的模型。
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo,上下文窗口达 128k tokens,采用标准架构,可作为 Mistral 7B 的直接替代,已以 Apache 2.0 许可发布预训练 base 和指令微调 checkpoints。
推荐理由:原文给出了架构兼容性与量化训练细节,读者可据此评估它替换 Mistral 7B 的迁移成本。
Mistral AI 发布 Codestral Mamba,一个基于 Mamba 架构的指令型代码模型,参数量为 7,285,403,648,采用 Apache 2.0 许可,可免费使用、修改和分发。
Mistral AI 发布并开源专注数学与 STEM 推理的指令模型 Mathstral 7B,基于 Mistral 7B 构建,与 Project Numina 合作产出。
Hugging Face 发布 SmolLM 小语言模型系列,包含 135M、360M、1.7B 三种参数规模,并同步开源 SmolLM-Corpus 训练语料。
推荐理由:原文公开了数据配比与消融实验细节,读者可迁移其小模型数据筛选方法。
OpenAI 推出基于 GPT-4 的 CriticGPT,它会为 ChatGPT 的回答撰写批评意见,帮助人类训练者在 RLHF 过程中发现错误。
Google 发布 Gemma 2 系列开放 LLM,Hugging Face 与 Google 合作完成生态集成,Hub 上提供 4 个开放权重模型(9B 与 27B 各含 base 和指令微调版本),上下文长度 8192 tokens,27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。
推荐理由:详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节,便于读者理解其性能提升来源。
Mistral AI 发布首个代码模型 Codestral,这是一个 22B 开源权重模型,专为代码生成任务设计,支持 80+ 编程语言,具备 fill-in-the-middle 补全机制和 32k 上下文窗口,在 RepoBench 等基准上取得领先表现。
推荐理由:原文给出模型规格、评测基准和开放入口,读者可据此判断它在编码工作流中的可用性。
Mistral AI 宣布推出 Mistral AI 非生产许可证(MNPL),允许开发者将技术用于非商业目的并支持研究工作,同时确保基于其成果构建业务的一方以对各方公平可持续的方式进行。Codestral 于今日在这一新许可证下发布。Mistral AI 表示将继续以 Apache 2.0 发布模型和代码,并逐步整合分别基于 Apache 2.0 和 MNPL 的两类产品。
推荐理由:原文说明了新许可证的适用边界与 Apache 2.0 的保留安排,读者可据此判断其模型的商用条件变化。
TII 发布 Falcon 2 系列首批模型 Falcon2-11B,包括 11B 参数的 LLM 和具备图像理解能力的 VLM,基于超过 5,000 GT tokens 的 RefinedWeb 数据经四阶段训练,上下文长度扩展至 8192 tokens。
Hugging Face 博客介绍 Google 发布的 PaliGemma 视觉语言模型家族,其架构由 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器经线性适配器组合而成,可接收图像与文本并输出文本。
推荐理由:详细拆解了三类检查点的用途差异与分辨率取舍,可帮助读者按任务选型并直接上手微调。
OpenAI 宣布推出新旗舰模型 GPT-4o(GPT-4 Omni),能够跨音频、视觉和文本进行实时推理。
OpenAI 发布 GPT-4o,并让更多能力在 ChatGPT 中免费可用。
OpenAI 宣布发布其最新旗舰模型 GPT-4o,并让更多能力在 ChatGPT 中免费提供给用户。