Gemma 3n 在开源生态全面开放可用
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama、Google AI Edge 等主流开源库开放可用,原生支持图像、文本、音频和视频输入。
推荐理由:原文给出了模型规格、显存需求和各库接入方式,读者可据此判断能否在自己的设备上跑起来。
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、transformers.js、ollama、Google AI Edge 等主流开源库开放可用,原生支持图像、文本、音频和视频输入。
推荐理由:原文给出了模型规格、显存需求和各库接入方式,读者可据此判断能否在自己的设备上跑起来。
Google 发布 Gemma 3 系列开源模型,包含 1B、4B、12B、27B 四种参数规模,提供预训练与指令微调版本,上下文窗口最高达 128k tokens,支持 140+ 语言,4B/12B/27B 版本可处理图文输入。
推荐理由:原文拆解了长上下文、多模态与多语言三项技术改进的具体做法,便于理解开源模型的能力来源。
Hugging Face 与印度科学研究所(IISc)及 ARTPARK 达成合作,旨在提升印度开源多模态多语言数据集 Vaani 的可访问性与易用性。
Google 发布多模态视觉语言编码器家族 SigLIP 2,在 sigmoid loss 基础上加入解码器、Global-Local Loss 和 Masked Prediction Loss 等辅助训练目标,以提升语义理解、定位与稠密特征能力。
推荐理由:文章拆解了从 SigLIP 到 SigLIP 2 的训练目标演进,读者可据此理解辅助损失如何改进视觉编码器。
Google 发布 PaliGemma 2 mix,即在 OCR、长短描述等多种视觉语言任务上微调的 PaliGemma 2 变体,覆盖 3B、10B、28B 三种尺寸与 224、448 两种分辨率,提供 HF Transformers 和 JAX 权重。
Hugging Face 与 Atla 联合推出 Judge Arena,让任何人并排对比模型作为评判者的表现:系统随机生成或自定义样本,两个 LLM 评判者分别打分并给出理由,用户投票选出更符合自己判断的一方,投票后才揭示模型名以避免偏差。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中推出 SynthID Text,可通过 logits processor 为 AI 生成文本添加水印并用分类器检测。
推荐理由:原文给出了配置参数、检测器训练流程和局限,读者可据此评估如何在自己的模型上落地水印方案。
Hugging Face 教你在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B:用 Text Generation Inference (TGI) 和 Hugging Face Deep Learning Containers。
Hugging Face 团队复现 Google 的 Infini-attention 论文,尝试把 Llama 3 8B 的 8k 上下文扩展到 100 万 token,最终发现该方法表现随压缩次数增加而变差,认为 Ring Attention、YaRN 和 rope scaling 仍是更好的长上下文扩展方案。
Google 在 Gemma 2 发布一个月后扩充模型阵容:推出 2.6B 参数的 Gemma 2 2B(含 base 与 instruction-tuned 版本)。
推荐理由:梳理了三个新发布的定位与用法,读者可据此判断小模型在端侧和投机解码中的落地路径。
Hugging Face 宣布 Inference Endpoints 和 Spaces 自当日起支持 Google TPU v5e,用户可在 us-west1 区域选择三档配置。
Google 发布 Gemma 2 系列开放 LLM,Hugging Face 与 Google 合作完成生态集成,Hub 上提供 4 个开放权重模型(9B 与 27B 各含 base 和指令微调版本),上下文长度 8192 tokens,27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。
推荐理由:详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节,便于读者理解其性能提升来源。
Hugging Face 博客介绍 Google 发布的 PaliGemma 视觉语言模型家族,其架构由 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器经线性适配器组合而成,可接收图像与文本并输出文本。
推荐理由:详细拆解了三类检查点的用途差异与分辨率取舍,可帮助读者按任务选型并直接上手微调。
Hugging Face 与 Open Life Science AI 推出 Open Medical-LLM Leaderboard,用 MedQA、MedMCQA、PubMedQA 及 MMLU 医学与生物学子集等数据集,以准确率为主要指标对比各模型的医疗问答能力。
Hugging Face 推出 Deploy on Google Cloud 集成,支持将数千个基础模型通过 Vertex AI 或 GKE 一键部署为 API Endpoint,推理由 Text Generation Inference 提供支持。
Hugging Face 与 Google 合作发布开源代码模型 CodeGemma,基于 2B 和 7B Gemma 检查点,在 500 billion tokens 的英语数据、数学和代码上继续训练,提供 2B base、7B base 和 7B Instruct 三个版本,上下文窗口均为 8K token。
Hugging Face 官方博客介绍如何用 Transformers 和 PEFT 库在 GPU 与 Cloud TPU 上对 Gemma 模型做参数高效微调(PEFT)。
Google 发布开源大模型系列 Gemma,包含 7B 和 2B 两种参数规模、各有 base 与 instruction-tuned 版本,共 4 个开放模型上线 Hugging Face Hub。
推荐理由:文章给出各尺寸模型的跑分对照和单卡微调命令,读者可据此判断在自有硬件上落地的可行性。
Hugging Face 与 Google Cloud 宣布达成战略合作,将在开放科学、开源、云和硬件四个方向展开协作,让企业能用 Hugging Face 的开放模型和 Google Cloud 的云与硬件能力构建自有 AI。
OpenAI 与 Anthropic、Google、Microsoft 联合宣布 Frontier Model Forum 新任执行主任,并推出 1000 万美元 AI Safety Fund。该基金由四家共同发起,用于支持人工智能安全相关研究与项目。
OpenAI 联合多家公司成立新行业组织 Frontier Model Forum,旨在推动前沿 AI 系统的安全与负责任发展。该组织将推进 AI 安全研究、识别最佳实践与标准,并促进政策制定者与行业之间的信息共享。
Hugging Face 盘点了其开源文本生成与 LLM 生态,涵盖 Llama 2、MPT-30B、XGen、Falcon、FLAN-T5、BLOOM 和 StarCoder 等模型。
Hugging Face 演示了如何用 google-cloud-aiplatform Python SDK 将 🤗 Transformers 的 ViT B/16 TensorFlow 模型部署到 Vertex AI,相比 Kubernetes 部署代码量显著更少且同样具备可扩展性。
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Margaret Mitchell,她曾创立并共同领导 Google 的 Ethical AI Team,发表 50 多篇论文,现于 Hugging Face 负责制定伦理 AI 研究协议、包容性招聘与文化建设。
BERT 是 Google AI Language 于 2018 年开发的 NLP 模型,可解决 11+ 项常见语言任务,自 2020 年 11 月起帮助 Google 改善几乎所有英文搜索结果。
OpenAI 与 Google 研究者合作开发了 Activation Atlases,一种用于可视化神经元之间交互所代表含义的新技术。随着 AI 系统被部署到日益敏感的场景中,更好地理解其内部决策过程有助于识别弱点并调查故障。
OpenAI 与来自 Berkeley、Stanford 的研究者共同署名,参与了由 Google Brain 研究者主导的论文《Concrete Problems in AI Safety》。该论文探讨了确保现代机器学习系统按预期运行的多个研究问题。