跳到正文
原文
Hugging Face Blog·· 2024-06-27精选AI 评分78

Hugging Face 介绍 Google 新开放模型 Gemma 2 的技术细节与生态集成

Welcome Gemma 2 - Google’s new open LLM

AI 导读

Google 发布 Gemma 2 系列开放 LLM,Hugging Face 与 Google 合作完成生态集成,Hub 上提供 4 个开放权重模型(9B 与 27B 各含 base 和指令微调版本),上下文长度 8192 tokens,27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。

推荐理由

详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节,便于读者理解其性能提升来源。

来源:Hugging Face Blog · huggingface.co