量子物理学家用 OpenAI o1 回答量子物理问题
量子物理学家 Mario Krenn 使用 OpenAI o1 来帮助回答量子物理领域的重大问题。
量子物理学家 Mario Krenn 使用 OpenAI o1 来帮助回答量子物理领域的重大问题。
Cognition CEO 兼联合创始人 Scott Wu 解释了 OpenAI o1 如何以更接近人类的方式做出编码决策。
OpenAI 宣布 GPT-4o 现已支持微调(fine-tuning)。
Hugging Face 与阿布扎比 TII 联合发布 Falcon Mamba 7B,基于 Mamba 架构并加入额外 RMS 归一化层,以约 5500GT 数据训练,可处理任意长度序列且生成每个 token 耗时恒定,能装进单张 A10 24GB GPU。
推荐理由:原文对比了 SSM 与 Transformer 在长序列上的内存与吞吐差异,读者可据此理解无注意力架构的适用边界。
OpenAI 官方发布 GPT-4o 的 System Card(系统卡)。
Google 在 Gemma 2 发布一个月后扩充模型阵容:推出 2.6B 参数的 Gemma 2 2B(含 base 与 instruction-tuned 版本)。
推荐理由:梳理了三个新发布的定位与用法,读者可据此判断小模型在端侧和投机解码中的落地路径。
Mistral AI 发布 Mistral Large 2,API 名为 mistral-large-2407,已在 la Plateforme 和 le Chat 上线,instruct 模型权重同步上线 HuggingFace。
推荐理由:原文给出参数规模、上下文长度与多项基准对比,读者可据此评估它在性能成本上的定位。
OpenAI 开发并应用了基于规则的奖励(Rule-Based Rewards,RBRs)方法,让模型在无需大量人工数据收集的情况下对齐到安全行为。该方法用规则化的奖励信号替代传统依赖人工标注的训练流程,用于改进模型的安全表现。
Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态,Hub 上提供 8 个开放权重模型(3 个 base 和 5 个微调版本),涵盖 8B、70B、405B 三种尺寸,均支持 128K 上下文窗口和 8 种语言,并新增工具调用能力与更宽松的许可(允许用模型输出改进其他 LLM)。
推荐理由:详细列出三种尺寸的显存需求与量化方案,读者可据此判断自己硬件能否跑起来。
OpenAI 官方发布 GPT-4o mini,定位为成本高效(cost-efficient)的模型。
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo,上下文窗口达 128k tokens,采用标准架构,可作为 Mistral 7B 的直接替代,已以 Apache 2.0 许可发布预训练 base 和指令微调 checkpoints。
推荐理由:原文给出了架构兼容性与量化训练细节,读者可据此评估它替换 Mistral 7B 的迁移成本。
Mistral AI 发布 Codestral Mamba,一个基于 Mamba 架构的指令型代码模型,参数量为 7,285,403,648,采用 Apache 2.0 许可,可免费使用、修改和分发。
Mistral AI 发布并开源专注数学与 STEM 推理的指令模型 Mathstral 7B,基于 Mistral 7B 构建,与 Project Numina 合作产出。
Hugging Face 发布 SmolLM 小语言模型系列,包含 135M、360M、1.7B 三种参数规模,并同步开源 SmolLM-Corpus 训练语料。
推荐理由:原文公开了数据配比与消融实验细节,读者可迁移其小模型数据筛选方法。
OpenAI 推出基于 GPT-4 的 CriticGPT,它会为 ChatGPT 的回答撰写批评意见,帮助人类训练者在 RLHF 过程中发现错误。
Google 发布 Gemma 2 系列开放 LLM,Hugging Face 与 Google 合作完成生态集成,Hub 上提供 4 个开放权重模型(9B 与 27B 各含 base 和指令微调版本),上下文长度 8192 tokens,27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。
推荐理由:详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节,便于读者理解其性能提升来源。
OpenAI 提出改进一致性模型(Consistency Models)训练的新方法,使这类生成模型能在无需对抗训练的情况下,仅用一步采样生成高质量数据。
Mistral AI 发布首个代码模型 Codestral,这是一个 22B 开源权重模型,专为代码生成任务设计,支持 80+ 编程语言,具备 fill-in-the-middle 补全机制和 32k 上下文窗口,在 RepoBench 等基准上取得领先表现。
推荐理由:原文给出模型规格、评测基准和开放入口,读者可据此判断它在编码工作流中的可用性。
Mistral AI 宣布推出 Mistral AI 非生产许可证(MNPL),允许开发者将技术用于非商业目的并支持研究工作,同时确保基于其成果构建业务的一方以对各方公平可持续的方式进行。Codestral 于今日在这一新许可证下发布。Mistral AI 表示将继续以 Apache 2.0 发布模型和代码,并逐步整合分别基于 Apache 2.0 和 MNPL 的两类产品。
推荐理由:原文说明了新许可证的适用边界与 Apache 2.0 的保留安排,读者可据此判断其模型的商用条件变化。
TII 发布 Falcon 2 系列首批模型 Falcon2-11B,包括 11B 参数的 LLM 和具备图像理解能力的 VLM,基于超过 5,000 GT tokens 的 RefinedWeb 数据经四阶段训练,上下文长度扩展至 8192 tokens。
Hugging Face 博客介绍 Google 发布的 PaliGemma 视觉语言模型家族,其架构由 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器经线性适配器组合而成,可接收图像与文本并输出文本。
推荐理由:详细拆解了三类检查点的用途差异与分辨率取舍,可帮助读者按任务选型并直接上手微调。
OpenAI 宣布推出新旗舰模型 GPT-4o(GPT-4 Omni),能够跨音频、视觉和文本进行实时推理。
OpenAI 发布 GPT-4o,并让更多能力在 ChatGPT 中免费可用。
OpenAI 宣布发布其最新旗舰模型 GPT-4o,并让更多能力在 ChatGPT 中免费提供给用户。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,一个完全用自生成数据、无需 GPT-4 等闭源教师模型蒸馏的指令微调代码模型,HumanEval 得分 72.6,超过 CodeLlama-70B-Instruct 的 72.0。
Meta 发布开源 Llama 3 系列,包含 8B 和 70B 两种参数规模的 base 与 instruct 共 4 个模型,以及基于 Llama 3 8B 微调的 Llama Guard 2,全部已上线 Hugging Face Hub。
推荐理由:原文梳理了 Llama 3 的技术变化与生态集成入口,读者可据此判断如何在自己的工作流中使用它。
Mistral AI 发布最新开源模型 Mixtral 8x22B,采用稀疏 MoE 架构,141B 总参数中仅激活 39B,以 Apache 2.0 许可开放。
推荐理由:原文给出了参数规模、激活量与基准分数,读者可据此评估其性价比定位。
Hugging Face 发布 Idefics2,一个 8B 参数的通用多模态模型,采用 Apache 2.0 开源许可,可接受任意文本与图像序列输入并生成文本回答,具备图像问答、文档信息抽取和基础算术等能力。
推荐理由:给出了模型能力、基准对比和训练数据构成,读者可据此判断 8B 规模开源多模态模型的可用水平。
OpenAI 宣布在亚洲设立首个办公室,并同步发布针对日语优化的 GPT-4 定制模型。这是 OpenAI 在亚洲的首个办公室,日语定制模型面向日本市场提供更贴合本地语言的 GPT-4 能力。
Hugging Face 与 Google 合作发布开源代码模型 CodeGemma,基于 2B 和 7B Gemma 检查点,在 500 billion tokens 的英语数据、数学和代码上继续训练,提供 2B base、7B base 和 7B Instruct 三个版本,上下文窗口均为 8K token。
OpenAI 分享了 Voice Engine 小规模预览的实践经验,这是一款用于创建定制语音的模型。文章总结了合成语音在开发过程中遇到的挑战与机遇。
BigCode 发布开源代码大模型 StarCoder2,含 3B、7B、15B 三个尺寸,全部基于新数据集 The Stack v2 训练,模型、数据集及训练代码均开放。
推荐理由:原文列出了三个尺寸的训练规模与数据集对比,读者可据此判断小模型能否替代更大模型。
Mistral AI 发布旗舰语言模型 Mistral Large,称其为通过 API 普遍可用的全球第二强模型(仅次于 GPT-4),具备 32K tokens 上下文窗口、五种语言原生流利、原生 function calling 与精确指令遵循能力。
推荐理由:原文给出基准对比与三种接入方式,读者可据此评估其相对 GPT-4 的定位和部署选择。
Google 发布开源大模型系列 Gemma,包含 7B 和 2B 两种参数规模、各有 base 与 instruction-tuned 版本,共 4 个开放模型上线 Hugging Face Hub。
推荐理由:文章给出各尺寸模型的跑分对照和单卡微调命令,读者可据此判断在自有硬件上落地的可行性。
OpenAI 发布视频生成模型 Sora,可在文本条件下生成一分钟高保真视频。该模型基于在视频与图像潜码的时空 patch 上运行的 Transformer 架构,对不同时长、分辨率和宽高比的视频与图像联合训练,其结果表明扩大视频生成模型规模是构建物理世界通用模拟器的可行路径。
推荐理由:原文点明扩大视频生成规模是通向物理世界通用模拟器的路径,提供了技术路线的关键判断。
Hugging Face 发布 aMUSEd,一个开源复现 Google MUSE 的非扩散文生图模型研究预览,采用 Masked Image Model 方法,参数量约 800M(含文本编码器和 VQ-GAN),推理速度快且支持零样本图像修复。
Mistral AI 发布 Mixtral 8x7B,一款采用 Apache 2.0 许可的稀疏混合专家(SMoE)模型,开放权重。它在多数基准上匹配或超过 Llama 2 70B 与 GPT3.5,推理速度提升 6x,支持 32k tokens 上下文和五种语言。
推荐理由:原文给出了架构细节与部署路径,读者可据此评估稀疏 MoE 在成本与性能上的取舍。
Mistral 发布开源大模型 Mixtral 8x7B,Hugging Face 完成生态集成,包括 Hub 模型卡、Transformers、Inference Endpoints 与 Text Generation Inference 支持。
推荐理由:文章解释了 MoE 架构如何让 45B 参数模型以 12B 密集模型速度解码,并给出量化与微调的实操路径。
OpenAI 在 DevDay 上宣布多项新模型与开发者产品,包括具备 128K context 且价格更低的 GPT-4 Turbo、新版 Assistants API、GPT-4 Turbo with Vision 以及 DALL·E 3 API 等。
推荐理由:原文列出了一次开发者大会上的多项模型与API更新,可据此了解OpenAI当时的产品线变化方向。
Mistral AI 发布 7.3B 参数模型 Mistral 7B,称其在所有基准上超过 Llama 2 13B、在多数基准上超过 Llama 1 34B,代码能力接近 CodeLlama 7B。
推荐理由:原文给出了基准对比、注意力机制细节和部署入口,读者可据此评估该模型的性价比与迁移价值。