Falcon-H1 系列发布:0.5B 到 34B 混合架构开源模型
Falcon-LLM 团队发布 Falcon-H1 系列共 6 个开源模型(0.5B、1.5B、1.5B-Deep、3B、7B、34B),均提供 base 与 instruct 版本,采用 Apache 2.0 许可。
推荐理由:原文披露了混合架构的取舍与反直觉的数据策略,可迁移借鉴其训练方法论。
Falcon-LLM 团队发布 Falcon-H1 系列共 6 个开源模型(0.5B、1.5B、1.5B-Deep、3B、7B、34B),均提供 base 与 instruct 版本,采用 Apache 2.0 许可。
推荐理由:原文披露了混合架构的取舍与反直觉的数据策略,可迁移借鉴其训练方法论。
TII 发布 Falcon-Arabic,一个基于 Falcon 3-7B 改造的 7B 多语言模型,支持阿拉伯语、英语等,上下文长度 32,000 tokens。
Falcon-Edge 团队发布基于 BitNet 架构的 Falcon-Edge 系列 1.58bit 三值语言模型,提供 1B 和 3B 两种参数规模,各有 base 和 instruction-tuned 版本。
Mistral AI 宣布发布 Mistral Medium 3,称其在各项基准上达到 Claude Sonnet 3.7 的 90% 或更高水平,API 价格为 $0.4 输入 / $2 输出每 M token,并在编码与多模态理解等专业场景领先于 Llama 4 Maverick 和 Cohere Command A。
推荐理由:原文给出了性能对标、价格与部署方式,读者可据此判断它在企业场景中替代更大模型的可行性。
OpenAI 已在 ChatGPT 中回滚上周的 GPT-4o 更新,用户现在使用的是行为更平衡的早期版本。被移除的更新过于奉承和迎合,常被描述为具有谄媚倾向。
推荐理由:原文说明了回滚原因和当前版本状态,读者可据此了解该更新的问题表现与处理结果。
Meta 发布 Llama Guard 4,一个 12B 稠密多模态安全模型,以及两款新的 Llama Prompt Guard 2 分类器(86M 和 22M 参数)。
推荐理由:原文给出了从 Llama 4 Scout 剪枝为稠密模型的架构细节和与上一代的对比数据,便于判断其部署成本与效果取舍。
OpenAI 宣布其最新图像生成模型 gpt-image-1 现已通过 API 提供,开发者和企业可将专业级、可定制的视觉生成能力直接集成到自己的工具和平台中。
OpenAI 发布 o3 和 o4-mini,称其为迄今最智能、最强大的模型,具备完整的工具访问能力。
OpenAI 发布 o3 和 o4-mini 的 System Card,介绍两款模型将前沿推理能力与完整工具能力结合,工具包括 web browsing、Python、图像与文件分析、图像生成、canvas、automations、file search 和 memory。
OpenAI 在 API 中推出 GPT-4.1 系列模型,称其在编码、指令遵循和长上下文理解方面均有全面提升,同时发布首款 nano 模型,即日起面向全球开发者开放。
推荐理由:官方点明了编码、指令遵循和长上下文三处主要提升,读者可据此判断是否值得接入。
Hugging Face 语言技术实验室发布 Visual Salamandra 7B,将 Salamandra 7B 大语言模型扩展到图像和视频理解,基于 Salamandra Instructed 7B 集成 Google 的 SigLIP-So400m 编码器、2 层 MLP projector 和后期融合技术。
Hugging Face 官方博客宣布 Meta 新一代 Llama 4 模型上线 Hub:Maverick 约 400B 总参数、128 专家,Scout 约 109B 总参数、16 专家,均为 17B 激活参数的 MoE 架构,支持文本与图像输入,训练数据最多 40 万亿 token、覆盖 200 种语言。
推荐理由:原文拆解了 NoPE、分块注意力等架构选择,读者可理解超长上下文如何实现。
DeepSeek-V3 0324 上周悄然登陆 Hugging Face Hub,它是 R1 推理模型底层基座 DeepSeek-V3 的更新版本,架构与原版相同并改用 MIT 许可证。
推荐理由:文章梳理了新模型的基准提升与部署方式,并给出开源模型下载和使用的安全注意事项。
OpenAI 在 GPT-4o 中推出原生图像生成功能,包括更强的文字渲染和指令遵循能力,可进一步了解 ChatGPT Images 2.5。
OpenAI 发布 GPT-4o System Card 补充说明,介绍 4o image generation 这一新的图像生成方式。官方称其能力显著强于此前的 DALL·E 3 系列模型,可生成照片级真实感输出,并支持以图像作为输入进行变换。
OpenAI 在 API 中推出新一代语音模型,开发者首次可以让文本转语音模型以特定方式说话,例如 talk like a sympathetic customer service agent,为语音智能体带来新的定制能力。
NVIDIA 在 GTC 大会上发布三项面向物理 AI 开发者的开源成果:世界基础模型 Cosmos Transfer、开源数据集 Physical AI Dataset,以及首个通用人形机器人推理开源模型 Isaac GR00T N1。
推荐理由:梳理了三项开源发布的具体规格与架构细节,便于开发者评估可直接复用的模型与数据资源。
Mistral AI 宣布发布 Mistral Small 3.1,基于 Mistral Small 3 升级,改进了文本性能与多模态理解,上下文窗口扩展至 128k tokens,推理速度达 150 tokens per second,以 Apache 2.0 许可开源。
推荐理由:原文列出了上下文、速度与运行门槛,读者可据此判断它是否适合端侧与低延迟场景。
Google 发布 Gemma 3 系列开源模型,包含 1B、4B、12B、27B 四种参数规模,提供预训练与指令微调版本,上下文窗口最高达 128k tokens,支持 140+ 语言,4B/12B/27B 版本可处理图文输入。
推荐理由:原文拆解了长上下文、多模态与多语言三项技术改进的具体做法,便于理解开源模型的能力来源。
Cohere For AI 发布并开源 Aya Vision 8B 和 32B 两个视觉语言模型,覆盖 23 种语言的图像理解与文本生成任务。
推荐理由:原文给出了数据增强与模型合并带来的具体胜率提升,可迁移的多语言多模态训练思路清晰。
OpenAI 发布 GPT-4.5 的研究预览版(research preview),称其为迄今规模最大、知识最丰富的模型。
Google 发布多模态视觉语言编码器家族 SigLIP 2,在 sigmoid loss 基础上加入解码器、Global-Local Loss 和 Masked Prediction Loss 等辅助训练目标,以提升语义理解、定位与稠密特征能力。
推荐理由:文章拆解了从 SigLIP 到 SigLIP 2 的训练目标演进,读者可据此理解辅助损失如何改进视觉编码器。
Hugging Face 发布 SmolVLM2 系列三个新模型,参数量分别为 2.2B、500M 和 256M,主打在手机到服务器等各类设备上运行视频理解。2.2B 版本在 Video-MME 上超过现有 2B 模型,500M 和 256M 版本被称为迄今发布的最小视频语言模型,其中 500M 版本以不到四分之一的参数量接近 2.2B 的视频理解能力。
推荐理由:原文给出三档参数量、Video-MME 表现和 MLX/Swift 接入方式,读者可据此判断小模型视频理解能否落到自己的设备上。
Google 发布 PaliGemma 2 mix,即在 OCR、长短描述等多种视觉语言任务上微调的 PaliGemma 2 变体,覆盖 3B、10B、28B 三种尺寸与 224、448 两种分辨率,提供 HF Transformers 和 JAX 权重。
Mistral AI 发布首个区域语言模型 Mistral Saba,参数量 24B,基于中东和南亚地区精选数据训练,官方称其准确性和相关性优于 5 倍以上规模的模型,且更快、成本更低。
OpenAI 发布 o3-mini System Card,说明该模型的安全工作,包括安全评估、外部红队测试和 Preparedness Framework 评估。
OpenAI 通过官方新闻页发布 o3-mini 模型,本次抓取失败,仅标题可用,正文内容缺失。
Mistral AI 发布 Mistral Small 3,一个延迟优化的 24B 参数模型,以 Apache 2.0 许可开源,提供预训练和指令微调两个 checkpoint。
推荐理由:原文给出了参数量、延迟与本地部署门槛,读者可据此判断它是否适合替代闭源小模型。
Hugging Face 发布 SmolVLM 家族两个新模型 SmolVLM-256M 和 SmolVLM-500M,含 base 与指令微调共四个 checkpoint,可直接通过 transformers、MLX 和 ONNX 加载。
推荐理由:原文对比了视觉编码器与分词优化的取舍,读者可借鉴其在极小模型上做效率权衡的思路。
OpenAI 发布研究,提出用推理时计算(inference-time compute)换取模型的对抗鲁棒性,即让模型在推理阶段投入更多计算以抵御对抗性攻击。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系,为提升模型安全性提供了新思路。
Mistral AI 发布 Codestral 25.01 编码模型,采用更高效的架构和改进的 tokenizer,代码生成与补全速度约为原来的 2 倍,上下文长度为 256k。
Hugging Face 与 LlamaIndex 合作发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型,可将文档页面截图编码为单向量表示,无需 OCR 或分块即可检索多语言文档,同时开源英文版 vdr-2b-v1 和含 500k 样本的 vdr-multilingual-train 训练数据集。
OpenAI 发布新的对齐策略 deliberative alignment,用于 o1 模型,直接向模型教授安全规范并让模型围绕这些规范进行推理。
推荐理由:原文点明该策略直接教模型安全规范并对其推理,读者可据此理解对齐思路的变化。
OpenAI 官方宣布推出 OpenAI o1,同时带来面向开发者的 Realtime API 改进和一种新的微调方法等更新。
OpenAI 宣布其视频生成模型 Sora 现已在 sora.com 开放使用,用户可生成最高 1080p 分辨率、最长 20 秒、支持宽屏、竖屏或方形比例的视频。用户既可以纯文本生成全新内容,也可以上传自有素材进行扩展、混剪和融合。
Mistral AI 发布 Pixtral Large,一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型,含 123B 多模态解码器与 1B 视觉编码器,支持 128K 上下文窗口,可容纳至少 30 张高分辨率图片。
推荐理由:原文给出了模型结构、上下文窗口和多项基准成绩,读者可据此评估它与闭源前沿模型的差距。
Cohere For AI 发布 Aya Expanse 8B 和 32B 多语言模型并以开放权重形式释出。成对比较中 Aya Expanse 32B 胜过 Gemma 2 27B、Mistral 8x22B 和 Llama 3.1 70B,8B 版本对 Gemma 2 9B、Llama 3.1 8B、Ministral 8B 的胜率在 60.4% 到 70.6% 之间。
OpenAI 简化、稳定并扩展了连续时间一致性模型(continuous-time consistency models),在仅用两个采样步骤的情况下,实现了与领先扩散模型相当的样本质量。
OpenAI 发布视频介绍 o1 推理模型如何在编程、策略和研究等领域帮助解决复杂问题。
Mistral AI 在 Mistral 7B 发布一周年之际推出两款面向端侧计算的模型 Ministral 3B 和 Ministral 8B,称其在 sub-10B 类别的知识、常识、推理、function-calling 和效率上达到新水平。
推荐理由:原文给出了 sub-10B 端侧模型的能力定位、定价与部署细节,便于读者评估其在本地推理场景的可用性。