Google 发布 EmbeddingGemma 2 多模态嵌入模型
Google 发布开源嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转为数值向量,参数量 740M,Google 称其为同类最紧凑模型,在多模态嵌入基准上超过两倍体量的竞品。
Google 发布开源嵌入模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转为数值向量,参数量 740M,Google 称其为同类最紧凑模型,在多模态嵌入基准上超过两倍体量的竞品。
Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、采用 Apache 2.0 许可的 740M 参数多模态嵌入模型,将文本、代码、图像、视频和音频统一映射到共享嵌入空间。
推荐理由:给出了参数量、内存占用与上下文长度等具体指标,读者可据此判断它是否适合端侧部署。
Ai2 开源了基于 Qwen3-8B 的科学报告生成模型 AstaBrief 8B 及其训练数据,该模型已作为 Fast mode 上线 Asta 的 Generate a report 功能。
Hugging Face 发布 NeoMME,一个 260M 和 800M 两种规格的多模态多语言编码器家族,用单个双向 Transformer 同时处理文本 token 和原始图像 patch,从零以掩码离散扩散目标训练,不依赖预训练视觉塔或因果语言模型。
Hugging Face 发布六个基于 Ettin ModernBERT 编码器的 Sentence Transformers CrossEncoder 重排模型,尺寸从 17M 到 1B,均以 Apache 2.0 开源,并同步公开训练数据 cross-encoder/ettin-reranker-v1-data(约 143M 三元组)和约 150 行的完整训练脚本。
推荐理由:给出了各尺寸的基准对比和消融数据,读者可据此判断何时该用它替换现有 reranker。
IBM 在 Hugging Face 发布两款 Apache 2.0 多语言嵌入模型 granite-embedding-311m-multilingual-r2 和 granite-embedding-97m-multilingual-r2。
Hugging Face 发布 mmBERT,一个基于 ModernBERT 构建的大规模多语言编码器模型,使用 3T+ tokens、覆盖 1800 多种语言训练,是首个在性能与速度上超越 XLM-R 的同类模型。
推荐理由:原文给出三阶段训练与低资源语言在衰减阶段快速学习的细节,可迁移其渐进式多语言训练思路。
Google 发布 EmbeddingGemma(google/embeddinggemma-300m),一款 308M 参数、2K 上下文窗口、支持 100 多种语言的多语言嵌入模型,面向端侧场景,量化后内存占用低于 200 MB,在 MTEB 上是 500M 以下排名最高的纯文本多语言嵌入模型。
推荐理由:给出了架构改动、多框架接入方式和微调脚本,读者可据此判断如何在端侧 RAG 中落地该模型。
Mistral AI 发布首个面向代码的嵌入模型 Codestral Embed,称其在真实代码数据检索上显著优于 Voyage Code 3、Cohere Embed v4.0 和 OpenAI 的大型嵌入模型。
Hugging Face 与 LlamaIndex 合作发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型,可将文档页面截图编码为单向量表示,无需 OCR 或分块即可检索多语言文档,同时开源英文版 vdr-2b-v1 和含 500k 样本的 vdr-multilingual-train 训练数据集。
Hugging Face 在 JAX/Flax 社区周期间,用 7 台 TPU v3-8 和多达 10 亿句对的语料训练出 SOTA 句子嵌入模型。训练采用 Multiple Negative Ranking Loss 对比学习,通过增大 batch size、加入 hard negatives 和跨数据集组 batch 提升质量,相似度缩放因子 C=20。