OpenAI 发布 GPT-4.5 研究预览版
OpenAI 发布 GPT-4.5 的研究预览版(research preview),称其为迄今规模最大、知识最丰富的模型。
内容类型
各家新模型的发布、开源与迭代:旗舰更新、开源权重放出、能力与价格变化。
242 条精选近 30 天 27 条共收录 525 条
OpenAI 发布 GPT-4.5 的研究预览版(research preview),称其为迄今规模最大、知识最丰富的模型。
Google 发布多模态视觉语言编码器家族 SigLIP 2,在 sigmoid loss 基础上加入解码器、Global-Local Loss 和 Masked Prediction Loss 等辅助训练目标,以提升语义理解、定位与稠密特征能力。
推荐理由:文章拆解了从 SigLIP 到 SigLIP 2 的训练目标演进,读者可据此理解辅助损失如何改进视觉编码器。
Hugging Face 发布 SmolVLM2 系列三个新模型,参数量分别为 2.2B、500M 和 256M,主打在手机到服务器等各类设备上运行视频理解。2.2B 版本在 Video-MME 上超过现有 2B 模型,500M 和 256M 版本被称为迄今发布的最小视频语言模型,其中 500M 版本以不到四分之一的参数量接近 2.2B 的视频理解能力。
推荐理由:原文给出三档参数量、Video-MME 表现和 MLX/Swift 接入方式,读者可据此判断小模型视频理解能否落到自己的设备上。
OpenAI 通过官方新闻页发布 o3-mini 模型,本次抓取失败,仅标题可用,正文内容缺失。
Mistral AI 发布 Mistral Small 3,一个延迟优化的 24B 参数模型,以 Apache 2.0 许可开源,提供预训练和指令微调两个 checkpoint。
推荐理由:原文给出了参数量、延迟与本地部署门槛,读者可据此判断它是否适合替代闭源小模型。
Hugging Face 发布 SmolVLM 家族两个新模型 SmolVLM-256M 和 SmolVLM-500M,含 base 与指令微调共四个 checkpoint,可直接通过 transformers、MLX 和 ONNX 加载。
推荐理由:原文对比了视觉编码器与分词优化的取舍,读者可借鉴其在极小模型上做效率权衡的思路。
OpenAI 发布新的对齐策略 deliberative alignment,用于 o1 模型,直接向模型教授安全规范并让模型围绕这些规范进行推理。
推荐理由:原文点明该策略直接教模型安全规范并对其推理,读者可据此理解对齐思路的变化。
OpenAI 官方宣布推出 OpenAI o1,同时带来面向开发者的 Realtime API 改进和一种新的微调方法等更新。
OpenAI 宣布其视频生成模型 Sora 现已在 sora.com 开放使用,用户可生成最高 1080p 分辨率、最长 20 秒、支持宽屏、竖屏或方形比例的视频。用户既可以纯文本生成全新内容,也可以上传自有素材进行扩展、混剪和融合。
Mistral AI 发布 Pixtral Large,一个基于 Mistral Large 2 构建的 124B 开放权重多模态模型,含 123B 多模态解码器与 1B 视觉编码器,支持 128K 上下文窗口,可容纳至少 30 张高分辨率图片。
推荐理由:原文给出了模型结构、上下文窗口和多项基准成绩,读者可据此评估它与闭源前沿模型的差距。
Mistral AI 在 Mistral 7B 发布一周年之际推出两款面向端侧计算的模型 Ministral 3B 和 Ministral 8B,称其在 sub-10B 类别的知识、常识、推理、function-calling 和效率上达到新水平。
推荐理由:原文给出了 sub-10B 端侧模型的能力定位、定价与部署细节,便于读者评估其在本地推理场景的可用性。
Meta 与 Hugging Face 合作发布 Llama 3.2 系列,共 10 个开放权重模型上线 Hub,包括 5 个多模态模型和 5 个纯文本模型。
推荐理由:原文给出各尺寸模型的显存需求与本地运行方式,读者可据此判断能否在自己的设备上跑起来。
Mistral AI 宣布发布 Mistral Small v24.09(22B 参数,MRL 许可),同时对全系模型降价,Mistral Small 和 Codestral 输入价格降至 $0.2 / M input tokens(降幅 80%),Mistral Large 2 降至 $2 / M input tokens(降幅 33%)。
推荐理由:一次更新同时给出降价幅度、新模型参数与授权方式,便于读者对照自身用量评估迁移成本。
Mistral AI 发布 Pixtral 12B,一款原生多模态模型,采用图文交错数据训练,采用 Apache 2.0 许可,可在 Le Chat 和 La Plateforme 上使用。
推荐理由:原文给出了架构细节、评测协议和本地部署方式,读者可据此评估它能否替代现有开源多模态模型。
OpenAI 官方发布 o1 模型,原文链接为 https://openai.com/index/introducing-openai-o1-preview,抓取失败,仅标题可用,无正文细节。
OpenAI News 发布标题为 Learning to reason with LLMs 的内容,抓取失败,正文不可用,仅标题可用。
OpenAI 宣布 GPT-4o 现已支持微调(fine-tuning)。
Hugging Face 与阿布扎比 TII 联合发布 Falcon Mamba 7B,基于 Mamba 架构并加入额外 RMS 归一化层,以约 5500GT 数据训练,可处理任意长度序列且生成每个 token 耗时恒定,能装进单张 A10 24GB GPU。
推荐理由:原文对比了 SSM 与 Transformer 在长序列上的内存与吞吐差异,读者可据此理解无注意力架构的适用边界。
Google 在 Gemma 2 发布一个月后扩充模型阵容:推出 2.6B 参数的 Gemma 2 2B(含 base 与 instruction-tuned 版本)。
推荐理由:梳理了三个新发布的定位与用法,读者可据此判断小模型在端侧和投机解码中的落地路径。
Mistral AI 发布 Mistral Large 2,API 名为 mistral-large-2407,已在 la Plateforme 和 le Chat 上线,instruct 模型权重同步上线 HuggingFace。
推荐理由:原文给出参数规模、上下文长度与多项基准对比,读者可据此评估它在性能成本上的定位。